AWS объявила о выпуске второго поколения своих чипов Trainium (T2) для обучения языковых моделей. Один инстанс EC2 с 16 такими чипами обеспечивает производительность до 20.8 петафлопс, что в 4 раза быстрее предыдущего поколения. А специальные UltraServer-инстансы с 64 взаимосвязанными чипами могут достигать 83.2 петафлопс.

Anthropic, в которую AWS активно инвестирует, уже строит огромный кластер из “сотен тысяч” таких чипов для обучения своих моделей. По заявлению AWS, это будет самый большой AI-кластер в мире, в 5 раз мощнее того, на котором обучались текущие модели Anthropic.

Впрочем, следующее поколение GPU от NVIDIA (архитектура Blackwell) обещает быть существенно мощнее — до 720 петафлопс на стойку из 72 GPU. Видимо, поэтому AWS сразу анонсировала и Trainium3, который должен появиться в конце 2025 года и будет в 4 раза быстрее T2. Правда, пока неизвестно, сколько времени пройдет между анонсом и реальной доступностью этих чипов для разработчиков.

Кстати, на сцену re:Invent также вышел топ-менеджер Apple и рассказал, что компания уже много лет использует чипы AWS — Graviton и Trainium, — для своих поисковых решений, а также хостит инфраструктуру сервисов, как Siri, Maps и Apple Music. А еще компания изучает возможность использования Trainium2 для обучения своих моделей для Apple Intelligence — в общем, это хорошее заявление в поддержку AWS и, по большому счету, это хорошо, поскольку пока что мы наблюдаем повсеместное господство Nvidia и эту фактическую монополию хорошо бы уравновешивать.