Tesla Dojo суперкомпьютер для автономного управления автомобилем. Входит в топ-5 самых мощных суперкомпьютеров в мире. Микроархитектура.

Tesla суперкомпьютер «Dojo»

Компания Tesla создала мощный тип суперкомпьютера, под названием «Dojo». Этот проект, о котором Tesla говорит уже пару лет, в настоящее время активно развивается и приобретает огромную вычислительную мощь. Ожидается, что к началу следующего года он достигнет топ-5 наиболее мощных компьютеров в мире. Проект Dojo — это значимое событие, для компании Tesla. Tesla Dojo суперкомпьютер для автономного управления автомобилем. Входит в топ-5 самых мощных суперкомпьютеров в мире. Микроархитектура.

В июне 2023 года Илон Маск объявил, что Dojo уже функционирует и выполняет полезные задачи в центрах обработки данных Tesla уже несколько месяцев. Относительно данного проекта (Dojo) ходило много слухов, о возможностях аппаратного обеспечения, пока Илон Маск окончательно не подтвердил информацию из официального аккаунта Tesla AI в Twitter (запрещен в РФ), где представили, что аппаратные средства Dojo готовы к производству.

В июле 2023 года, Tesla уже начала собирать функциональные чипы Dojo. Tesla AI прогнозировало, что Dojo перейдет из текущей тестовой фазы в одного из топ-5 самых мощных суперкомпьютеров в мире к февралю 2024 года, достигнув более 30 экзафлопс вычислительной мощи. С этого момента темп производства Dojo будет только увеличиваться.

Аппаратное обеспечение Tesla Dojo

Аппаратное обеспечение Tesla Dojo будет и дальше расти, увеличивая общую вычислительную мощность Tesla до 100 эксафлопс в октябре 2024 года.

Сейчас вы, возможно, задаетесь вопросом, что такое эксафлопс?

Эксафлопс — это способ измерения количества работы, которую компьютер может обрабатывать за одну секунду. Таким образом, один эксафлопс представляет собой один квинтиллион операций в секунду — это число с восемнадцатью нулями после него. Это невообразимо большое число в человеческом масштабе, поэтому давайте переведем это в метрику, которую все понимаем — деньги. 100 эксафлопсов вычислений эквивалентны 300 000 графическим процессорам Nvidia A100.

Эти GPU являются отраслевым стандартом уже несколько лет, являясь самыми мощными процессорами в самых мощных центрах обработки данных в мире. Это не те виды чипов, которые используются для игр, A100 используются для создания самого продвинутого программного обеспечения на Земле.

Большие модели искусственного интеллекта, такие как Chat GPT и Mid-Journey Image Generator, не смогли бы существовать без чипа A100, что делает эти GPU невероятно ценными. Средняя стоимость одной единицы около десяти тысяч долларов, так что теперь мы можем взять 100 эксафлопсов, что равно 300 000 A100, умножить на десять тысяч долларов и получить три миллиарда долларов — именно столько стоит суперкомпьютер Tesla Dojo. И это только начальный этап — по графику Tesla как минимум планирует увеличить емкость вдвое в течение года, таким образом, можно ожидать, что Tesla Dojo — суперкомпьютер, о котором так много говорят, звучит захватывающе и круто, но что же такое на самом деле Dojo?

Зачем автомобильной компании нужен такой невероятно мощный компьютер?

Dojo компьютерная система, созданная для обучения, а обучать будет именно искусственный интеллект.

По сути, Dojo — это новый «дом» для нейронной сети Tesla для полностью автономного вождения.

Таким образом, стоит начать разделять Dojo от стандартного определения суперкомпьютера. Dojo более правильно описывается как кластер для обучения искусственного интеллекта, но для обычного человека более знакомо ассоциировать его с суперкомпьютером. Такие кластеры для обучения традиционно состоят из гигантских шкафов, набитых графическими процессорами (GPU), работающими на полную мощность. Графические процессоры, которые мы все используем уже десятилетия, оказались особенно подходящими для вычислений, требуемых для обучения нейронных сетей. Поэтому компании, такие как Nvidia и AMD, начали создавать эти более массивные и мощные версии своих существующих решений.

Однако Dojo появляется с совершенно новым подходом. Dojo — это индивидуальная аппаратная платформа, разработанная от начала и до конца подразделением искусственного интеллекта Tesla исключительно для использования при обучении их последней видео компьютерной зрительной системы. Tesla планирует увеличить общую вычислительную мощность до 100 эксафлопс в октябре 2024 года благодаря Dojo, что позволит им создавать более продвинутые и надежные системы для полностью автономного вождения.

Суперкомпьютер Tesla Dojo был разработан с одной целью — создать цифровой аналог человеческой зрительной коры (отвечающей за обработку визуальной информации) и мозговой функции (включающей обработку сенсорной информации), а затем использовать это для автономного управления автомобилем. Для этого необходимо обрабатывать огромные объемы визуальных данных, в данном случае — видео, снятое камерами автомобиля.

Вся эта информация с миллиардов кадров цифрового видео должна быть преобразована в язык, понятный модели искусственного интеллекта. Этот процесс называется разметкой и включает в себя придание определения кластеру пикселей, чтобы ИИ понимал, что он видит. Чем больше меток доступно для сети, тем лучше она будет распознавать шаблоны и делать ассоциации.

Ранее Tesla использовала людей для выполнения этой разметки, но это явно неустойчивая система для развития возможностей полностью автономного вождения. В конечном счёте каждому человеку на Земле пришлось бы работать в Tesla, чтобы достичь успеха. Поэтому Tesla понадобилось автоматизировать процесс, и автоматизация приходит в виде компьютерной мощности, которая теперь приняла форму Dojo.

Микроархитектура системы искусственного интеллекта Tesla Dojo

Архитектура Dojo Tesla поражает своим сходством с тем, что делает Apple со своими собственными компьютерными системами, как в философии, так и в технологиях. Apple давно поняла, что очень эффективной стратегией является создание программного и аппаратного обеспечения.

Суперкомпьютер Tesla Dojo был специально разработан для работы в паре, что приводит к более эффективному и производительному устройству. Это то, что Apple полностью осознала с выпуском своих новых компьютеров на базе чипов M1 и M2, заменив процессоры Intel на собственные разработки, специально предназначенные для работы с программным обеспечением Apple. Они делают это совершенно по-другому, чем любой другой компьютер на рынке. То, что действительно отличает Dojo от остальной индустрии обучения искусственного интеллекта, это отказ от использования GPU-аппаратного обеспечения.

Dojo существует на базовом уровне, называемое системой на одном кристалле (SoC), что представляет собой целый компьютер, собранный на одном кристалле кремния. Это точно такая же архитектура, которую Apple использовала для создания чипа M1. Этот метод обеспечивает впечатляющий уровень эффективности, потому что вместо того, чтобы иметь все эти порты PCI, провода и материнские платы, объединенные вместе, теперь каждый необходимый компонент размещается на том же небольшом квадрате полупроводникового материала.

Чем больше мощности требуется, тем больше делают этот кусок кремния и тем больше процессорных ядер прикрепляют к нему. Мы можем увидеть это на примере чипов Apple M1, M1 Pro и M1 Max. Чип M1 не поместится внутрь iPad или MacBook Air, тогда как M1 Max предназначен для MacBook Pro. Чип dojo примерно размером с ладонь, что намного меньше, чем GPU a100.

Презентация процессора Tesla Dojo

Tesla поделилась подробностями о собственном процессоре D1, который станет основой ИИ-суперкомпьютера Dojo. Компания рассказала об архитектуре, устройстве и возможностях нового чипа.

Свою разработку Tesla представила на конференции Hot Chips 34. Презентацию провел Эмиль Талпес, выходец из AMD, который работает над созданием и совершенствованием аппаратного обеспечения Tesla.

Для масштабируемости механизмов в рамках большой вычислительной системы используется распределённая сеть хранения на базе SRAM.

Основой процессора выступает ядро целочисленных вычислений на некоторых инструкциях из набора RISC-V и с фирменными инструкциями, оптимизированными с учётом требований для ядер машинного обучения. При этом блок векторной математики был создан практически с нуля.

Набор инструкций Dojo включает скалярные, матричные и SIMD-инструкции, а также примитивы для перемещения данных из локальной памяти в удалённую и семафоры с барьерами для согласования работы c памятью во всей системе. Специфические инструкции для машинного обучения реализованы в чипе аппаратным путём.

D1 будет представлять собой высокопроизводительный процессор общего назначения без специфических ускорителей. Каждый его вычислительный блок включает одно ядро D1 с локальной памятью и интерфейсами ввода/вывода (64-бит суперскалярно).

В ядре реализована поддержка многопоточности (SMT4) для увеличения производительности на такт. Данная реализация не поддерживает виртуальную память, а её механизмы защиты ограничены в функциональности. За управление ресурсами Dojo отвечает специализированный программный стек и фирменное ПО.

Ядро 64-бит имеет 32-байтное окно выборки (fetch window), которое может содержать до 8 инструкций. Это соответствует ширине декодера. Он способен обрабатывать два потока за такт. Результат поступает в планировщики, которые отправляют его в блок целочисленных вычислений (два ALU) или в векторный блок (SIMD шириной 64 байт + перемножение матриц 8×8×4).

У каждого ядра D1 есть SRAM объёмом 1,25 Мбайт. Данная память способна загружать данные на скорости 400 Гбайт/с и сохранять на скорости 270 Гбайт/с. Специальные инструкции позволяют работать с данными в других ядрах Dojo. Работа с удалённой памятью не требует дополнительных операций.

Скалярный блок поддерживает целочисленные форматы разрядностью от 8 до 64 бит, а векторный и матричный блоки — широкий набор форматов с плавающей запятой, в том числе для вычислений смешанной точности (FP32, BF16, CFP16 и CFP8). Компилятор Dojo может динамически изменять значения мантиссы и экспоненты, и система может использовать до 16 различных векторных форматов.

Топология D1 использует меш-структуру, в которой каждые 12 ядер объединены в логический блок, а сам чип представляет собой массив размером 18×20 ядер, однако доступны лишь 354 ядра из 360 присутствующих на кристалле. Кристалл площадью 645 мм² производится на мощностях TSMC с использованием 7-нм техпроцесса. Тактовая частота составляет 2 ГГц, общий объём памяти SRAM — 440 Мбайт.

Процессор D1 развивает 362 Тфлопс в режиме BF16/CFP8 (до 22 Тфлопс в режиме FP32). Режим FP64 векторными блоками D1 не поддерживается, и для многих традиционных HPC-нагрузок процессор не подойдёт.

Каждый кристалл D1 имеет 576-битный внешний интерфейс SerDes с совокупной производительностью по всем четырём сторонам (8 Тбайт/с). Он объединяет кристаллы в единую матрицу 5х5. Матрица из 25 кристаллов D1 называется Dojo training tile.

Dojo training tile представляет собой термоэлектромеханический модуль. Он имеет внешний интерфейс с пропускной способностью 4,5 Тбайт/с на каждую сторону, совокупно располагающий 11 Гбайт памяти SRAM, а также собственную систему питания мощностью 15 кВт. Вычислительная мощность составляет 9 Пфлопс в формате BF16/CFP8.

Dojo training tile можно объединять в более производительные матрицы. Для связи используются блоки DIP — Dojo Interface Processors — интерфейсные процессоры, посредством которых матрицы общаются с хост-системами. Каждый DIP содержит 32 Гбайт памяти HBM.

DIP использует собственный транспортный протокол (Tesla Transport Protocol, TTP), обеспечивающий пропускную способность 900 Гбайт/с, а поверх Ethernet — 50 Гбайт/с. Внешний интерфейс у карточек — PCI Express 4.0, и каждая интерфейсная карта несёт пару DIP. С каждой стороны каждого ряда установлено по 5 DIP, что даёт скорость до 4,5 Тбайт/с от HBM-стеков.

При требовании слишком большого числа переходов (до 30 в случае обращения от края до края) система может воспользоваться DIP, объединёнными снаружи 400GbE-сетью по топологии fat tree.

Суперкомпьютер Dojo V1 в базовой версии выдаёт 1 Эфлопс в режиме BF16/CFP8 и может загружать непосредственно в SRAM модели объёмом до 1,3 Тбайт, а ещё 13 Тбайт данных можно хранить в HBM-сборках DIP. Полномасштабная версия Dojo будет иметь производительность до 20 Эфлопс.

Суперкомпьютер Tesla Dojo не предполагает существование как отдельной единицы. Dojo действительно становится более функциональным, когда несколько чипов объединяются вместе, чтобы функционировать как одна система. И это то, что делает Apple с их новыми устройствами Mac Studio. Их чип верхнего уровня M1 Ultra фактически представляет собой два чипа M1 Max, объединенных в один мощный компьютер. С плиткой Dojo Tesla соединила 25 чипов Dojo, чтобы создать единую компьютерную систему, и каждая плитка содержит всю необходимую аппаратуру для питания, охлаждения и передачи данных. Это самодостаточный компьютер, состоящий из 25 меньших компьютеров.

Поднимаясь еще на один уровень, они интегрируют шесть плиток в одну установку, а затем, чтобы создать один шкаф, объединяют два в одном корпусе. Удивительное в этой архитектуре — это уровень эффективности, который можно достичь с минимальным потреблением энергии и охлаждения. Повторно обратим взгляд на Apple и их Mac Studio с M1 Ultra или теперь с M2 Ultra — это самые мощные компьютеры, которые можно купить, и при этом они находятся в таких крошечных квадратных коробках, которые легко поместятся на вашем столе. Они занимают очень мало места и им нужна всего лишь базовая система охлаждения. Это действительно невероятно, учитывая, что только блок питания на традиционном настольном ПК был бы вдвое больше, чем у Ultra-мощного Mac Studio.

Надеюсь, это дало вам более четкое представление о том, как работает Dojo. То же самое, что происходит внутри вашего нового MacBook, происходит и внутри Dojo, только в гораздо более масштабных размерах.

Будущее суперкомпьютера Tesla Dojo

Что все это значит? Что изменится для Tesla с появлением Dojo?

Во-первых, Tesla сможет быстро увеличить вычислительную мощность своей программы обучения искусственного интеллекта по относительно низкой цене. Очевидно, любой новый продукт обычно имеет высокие производственные затраты на начальном этапе, но с увеличением производства чипов и плиток Dojo их стоимость становится более доступной. Это также означает, что Tesla не будет конкурировать на одном и том же рынке и не бороться за покупку тех же самых чипов Nvidia, что и все остальные в их индустрии.

По мере роста мощности искусственного интеллекта растет и спрос на процессоры уровня a100 и h100, которые могут быть трудны в приобретении большими партиями, а цена будет отражать спрос. Новый графический процессор h100 от Nvidia сейчас стоит 40 000 долларов за единицу, и это завышенная цена, которая учитывается на силу вычислительных мощностей для обучения искусственного интеллекта — это то, чем Tesla может воспользоваться в будущем, создав совершенно новую бизнес-модель в своем существующем подразделении искусственного интеллекта. Илон Маск заявил, что первая версия Dojo специально настроена под задачи компьютерного зрения, разметки видео, что именно им нужно для полностью самоуправляемой системы вождения и, впоследствии, для роботов-гуманоидов.

Суперкомпьютер Tesla Dojo не будет особенно полезен для чего-то за рамками задач, для которых он создавался, но Илон утверждает, что будущие версии системы Dojo будут более адаптированы для обучения искусственного интеллекта общего назначения, так что Tesla Dojo может быть приспособлена для моделей языка или алгоритмов социальных медиа или вообще для всего, на что смогут придумать люди.

Практически, как только Tesla доведет свою собственную систему до уровня, на котором она обеспечивает всю необходимую вычислительную мощность, каждая дополнительная система Dojo, которую они разработают, станет активом, который можно монетизировать. Илон видит, это так же, как, например, Amazon Web Services или Microsoft Azure. Tesla просто будет сдавать в аренду свою избыточную вычислительную мощность всем, кто в этом нуждается, и в будущем на эту услугу будет огромный спрос.

Для примера, Amazon Web Services — это высокодоходная бизнес-модель, по этой причине Джефф Безос стал самым богатым человеком на Земле, именно поэтому Amazon может продавать все это так дешево и доставлять так быстро — это финансируется просто сдачей в аренду своей свободной серверной мощности. Web-сервис Amazon появился потому, что в Amazon действительно нужно было только максимальная мощность сервера для пиковых периодов, например, во время Черной Пятницы, а все остальное время серверы просто простаивали и ничего не делали, пока они не получили идею сдавать их в аренду. Тесла Доджо может сделать точно то же самое для компании Тесла, и это именно то, что мы называем переломным моментом.

Список источников:

1. Tesla создаст суперкомпьютер Dojo для разработки полноценного автомобильного автопилота https://www.ixbt.com/news/2020/08/17/tesla-sozdast-superkompjuter-dojo-dlja-sozdanija-polnocennogo-avtomobilnogo-avtopilota.html
2. The Real Reason Tesla Built The DOJO Supercomputer! https://youtu.be/Av73GuIIbAA?si=P15ZpOTsXlIQAlgH
3. Tesla releases new deep-dive presentations on its Dojo AI supercomputer https://electrek.co/2022/08/24/tesla-deep-dive-presentations-dojo-ai-supercomputer/
4. Tesla Unveils Powerfull Dojo D1 Chip & ‘training tiles’ During AI Day https://www.tesmanian.com/blogs/tesmanian-blog/tesla-unveils-powerfull-dojo-d1-chip-and-training-tiles-during-ai-day
5. Tesla запустила производство суперкомпьютеров Dojo и за 15 месяцев хочет достичь производительности в 100 Эфлопс
6. https://3dnews.ru/1090287/tesla-zapustila-proizvodstvo-superkompyuterov-dojo-dlya-obucheniya-avtopilota-na-proekt-potratyat-1-milliard
7. Tesla уже располагает одним из самых мощных суперкомпьютеров в мире https://www.ixbt.com/news/2021/06/21/tesla-uzhe-raspolagaet-odnim-iz-samyh-moshnyh-superkompjuterov-v-mire.html
8. TSMC активно наращивает выпуск гигантских чипов для суперкомпьютера Tesla Dojo https://3dnews.ru/1093630/tsmc-aktivno-narashchivaet-vipusk-komponentov-dlya-superkompyutera-dojo-kompanii-tesla
9. Tesla потратит огромные средства на свой суперкомпьютер Dojo и строительство ещё одного в Государственном университете Нью-Йорка https://www.ixbt.com/news/2024/01/29/tesla-potratit-ogromnye-sredstva-na-svoj-superkompjuter-dojo-i-stroitelstvo-eshjo-odnogo-v-gosudarstvennom-universitete.html
10. Tesla рассказала об архитектуре чипа D1 для суперкомпьютера Dojo https://habr.com/ru/news/686630/
11. Tesla Dojo AI Tile Microarchitecture https://www.servethehome.com/tesla-dojo-ai-system-microarchitecture/

Подписывайтесь на наш telegram: