Microsoft представила XPU-ускоритель Maia 300 для инференса ИИ
Microsoft представила следующее поколение специализированных ускорителей Azure Maia 300. Устройство относится к классу XPU и предназначено не для универсальных вычислений, а прежде всего для инференса больших языковых моделей и генеративных сервисов.
Разработчики сделали основной акцент на пропускной способности памяти и сокращении задержек при передаче данных. Это особенно важно для агентских сценариев, в которых модель последовательно выполняет несколько шагов, работает с длинным контекстом и регулярно обращается к внешним инструментам.
Чиплетная архитектура и память HBM4
Maia 300 построен по мультичиплетной схеме. Вычислительные ядра производятся по техпроцессу TSMC N2P, а сам ускоритель разделён на изолированные домены вычислений, контроллеров памяти и физических интерфейсов ввода-вывода.
В основе устройства лежит архитектура SDLA с программным управлением потоками данных. Она позволяет размещать информацию ближе к вычислительным блокам, которые её используют, и явно контролировать перемещение данных между памятью, вычислительными движками и сетью. NUMA-топология между чиплетами должна уменьшить лишние пересылки и связанные с ними энергозатраты.
Ускоритель оснащён восемью стеками HBM4 общим объёмом 288 ГБ. Пиковая пропускная способность памяти достигает 18 ТБ/с. В сравнении с Maia 200 это означает рост показателя в 2,5 раза и увеличение объёма памяти на 33%. Эффективность HBM в расчёте на ватт выросла вдвое, а тепловой пакет чипа составляет 950 Вт.
Для инференса предусмотрена работа с форматами пониженной точности, включая улучшенный MXFP4 и форматы хранения менее трёх бит на значение. Более компактное представление данных позволяет экономить память и снижать интенсивность её передачи, удерживать большие контексты и KV-кэш, а также запускать больше параллельных сессий при сопоставимом энергопотреблении.
Серверные блоки и масштабирование
Microsoft отказалась от разделения на отдельные хост-серверы и платы ускорителей. Один вычислительный блок объединяет четыре Maia 300, хост-процессор, оперативную память, накопители и компоненты жидкостного охлаждения.
В стойке размещаются 24 таких блока — всего 96 ускорителей и 27,6 ТБ памяти HBM4. Совокупное энергопотребление стойки оценивается примерно в 167 кВт. Внутренняя коммутация выполняется шестью ASIC-коммутаторами, установленными в трёх блоках жидкостного охлаждения. Система может подключаться непосредственно к жидкостному контуру дата-центра или работать через промежуточные теплообменники «вода — воздух».
Сетевая архитектура SDLA распространяется и на уровень нескольких стоек. Единая двухуровневая Ethernet-сеть объединяет коммуникации внутри стойки и между стойками суперпода. На первом уровне используются медные соединения, а на втором до 128 стоек объединяются оптическими коммутаторами в конфигурацию, включающую до 12 288 ускорителей Maia 300.
По заявлению Microsoft, сеть может перераспределять до 750 ГБ/с пропускной способности между любыми чипами суперпода. Тензорный параллелизм предполагается удерживать внутри стойки из 96 ускорителей, тогда как параллелизм экспертов и конвейерный параллелизм можно распределять между стойками.
Показатели и планы внедрения
Согласно расчётам Microsoft, на уровне стойки Maia 300 обеспечивает семикратный рост пропускной способности генерации токенов по сравнению с Maia 200. Кроме того, заявлено преимущество в 40% по количеству токенов на мегаватт относительно традиционных GPU-решений.
Промышленное развертывание Maia 300 в инфраструктуре Azure запланировано на 2027 год. Ускорители должны стать базовой платформой для инференса в Microsoft Copilot, Teams, GitHub Copilot и других внутренних системах обработки естественного языка.
