Google раскрыл тайну чипа TPU v5e: как он был создан и зачем он нужен?

Компания Google анонсировала новый чип для искусственного интеллекта TPU v5e, который является альтернативой GPU от Nvidia. Чип TPU v5e также стал первым чипом Google для ИИ, который доступен вместе с набором программного обеспечения и инструментов для масштабирования и управления задачами ИИ в виртуальных средах. Чип уже доступен в превью-версии для клиентов Google Cloud.

Новый чип является преемником предыдущего поколения TPUv4, который использовался для обучения новых больших языковых моделей PaLM и PaLM 2, применяемых в поиске, картах и онлайн-приложениях Google. Компания Google часто сравнивала свои чипы TPU с GPU от Nvidia, но была осторожна с анонсом TPU v5e. Google подчеркнула, что она сосредоточена на предоставлении разнообразных чипов для ИИ своим клиентам, включая GPU H100 от Nvidia в суперкомпьютере A3 и TPU v5e для вывода и обучения.

Чип TPU v5e также стал первым чипом Google для ИИ, доступным за пределами США. Чип TPUv4 был доступен только в Северной Америке. Компьютеры с чипом TPU v5e будут установлены в Нидерландах для рынков Европы, Ближнего Востока и Африки (EMEA) и в Сингапуре для рынков Азиатско-Тихоокеанского региона.

Происхождение чипа TPU v5 было омрачено скандалом. Исследователи из Google неофициально объявили о чипе TPU-v5 в июне 2021 года и в статье заявили, что для проектирования чипа использовался ИИ. Google утверждала, что ИИ помог расположить элементы на чипе быстрее, чем человеческие эксперты. Внутри компании возникли споры по поводу заявлений в статье, и Google уволила одного из исследователей перед публикацией статьи в журнале Nature. Академические исследователи также поставили под сомнение заявления Google и критиковали компанию за то, что она не открыла свою методику для общественного контроля. Позже один из исследователей, Эндрю Б. Канг из Университета Калифорнии в Сан-Диего, восстановил технику проектирования чипов Google и обнаружил, что человеческие проектировщики чипов и автоматизированные инструменты иногда были быстрее, чем метод на основе ИИ.

Google не комментировала этот скандал, но продолжала строить свою империю вокруг чипов TPU. Большие языковые модели компании оптимизированы для работы на чипах TPU, и новые чипы критически важны для дата-центров Google, поскольку компания добавляет функции ИИ во все свои продукты.

Показатели производительности свидетельствуют о том, что чип TPU v5e адаптирован для вывода, а не для обучения. Чип обеспечивает пиковую производительность 393 терафлопс в формате INT8 на чип, что лучше, чем 275 петафлопс на TPU v4. Но чип TPU v5e уступает по производительности в формате BF16, показывая 197 терафлопс против 275 терафлопс на TPU v4. Но чип TPU v5e может превзойти TPU v4, когда они объединяются в кластеры. Чип TPU v4 мог быть настроен в кластеры из 4096 чипов, но TPU v5e может расширяться до сотен или тысяч более разных конфигураций и решать еще более крупные задачи обучения и вывода.

За каждый доллар чип TPU v5e в два раза быстрее обучается и в 2,5 раза быстрее выводит результаты. Чип TPU v5e стоит $1,2 за час работы, в то время как TPU v4 стоит около $3,2 за час. “По цене меньше половины от TPU v4, TPU v5e делает возможным для большего количества организаций обучать и развертывать более сложные и большие модели ИИ”, - говорится в пресс-релизе Google.