為了訓(xùn)出最強(qiáng)Grok 3，xAI耗時(shí)19天，打造了由10萬(wàn)塊H100組成的世界最大超算集群。

而在訓(xùn)練FSD、擎天柱機(jī)器人方面，馬斯克同樣不惜重金，投入了大量的計(jì)算資源。

超算Dojo，是特斯拉AI的基石，專為訓(xùn)練FSD神經(jīng)網(wǎng)絡(luò)而打造。

就在今天，他在德州超級(jí)工廠（Cortex）參觀了特斯拉的超級(jí)計(jì)算機(jī)集群。

馬斯克稱，「這將是一個(gè)擁有約10萬(wàn)個(gè)H100/H200 GPU，并配備大規(guī)模存儲(chǔ)的系統(tǒng)，用于全自動(dòng)駕駛（FSD）和Optimus機(jī)器人的視頻訓(xùn)練」。

不僅如此，除了英偉達(dá)GPU，這個(gè)超算集群中還配備了特斯拉HW4、AI5、Dojo系統(tǒng)。

它們將由一個(gè)高達(dá)500兆瓦的大型系統(tǒng)提供電力和冷卻。

2021年特斯拉AI Day上，馬斯克首次對(duì)外宣布Dojo。

如今三年過去了，Dojo建得怎樣了？

8000塊H100等價(jià)算力，加倍下注

半個(gè)月前，網(wǎng)友稱2024年年底，特斯拉擁有AI訓(xùn)練算力，等價(jià)于9萬(wàn)塊H100的性能。

馬斯克對(duì)此做了一些補(bǔ)充：

我們?cè)贏I訓(xùn)練系統(tǒng)中不僅使用英偉達(dá)的GPU，還使用自己的AI計(jì)算機(jī)——Tesla HW4 AI（更名為AI4），比例大約為1:2。

這意味著相當(dāng)于有大約9萬(wàn)個(gè)H100，加上大約4萬(wàn)個(gè)AI4計(jì)算機(jī)。

他還提到，到今年年底，Dojo 1將擁有大約8000個(gè)相當(dāng)于H100算力。這個(gè)規(guī)模不算龐大，但也不算小。

Dojo D1超算集群

其實(shí)在去年6月，馬斯克曾透露Dojo已經(jīng)在線并運(yùn)行了幾個(gè)月的有用任務(wù)。

這已經(jīng)暗示著，Dojo已經(jīng)投入到一些任務(wù)的訓(xùn)練中。

最近，在特斯拉財(cái)報(bào)會(huì)議上，馬斯克表示特斯拉準(zhǔn)備在10月推出自動(dòng)駕駛出租車，AI團(tuán)隊(duì)將「加倍投入」Dojo。

預(yù)計(jì)Dojo的總計(jì)算能力，將在2024年10月達(dá)到100 exaflops。

假設(shè)一個(gè)D1芯片可以實(shí)現(xiàn)362 teraflops，要達(dá)到100 exaflops，特斯拉將需要超過27.6萬(wàn)個(gè)D1芯片，或者超過32萬(wàn)英偉達(dá)A100 GPU。

500億晶體管，D1已投產(chǎn)

2021年特斯拉AI Day上，D1芯片初次亮相，擁有500億晶體管，只有巴掌大小。

它具備了強(qiáng)大和高效的性能，能夠快速處理各種復(fù)雜的任務(wù)。

今年5月，D1芯片開始投產(chǎn)，采用臺(tái)積電7nm工藝節(jié)點(diǎn)。

Autopilot前硬件高級(jí)總監(jiān)Ganesh Venkataramanan曾表示，「D1可以同時(shí)進(jìn)行計(jì)算和數(shù)據(jù)傳輸，采用定制ISA指令集架構(gòu)，并針對(duì)機(jī)器學(xué)習(xí)工作負(fù)載進(jìn)行了充分優(yōu)化」。

這是一臺(tái)純粹的機(jī)器學(xué)習(xí)的芯片。

盡管如此，D1仍沒有英偉達(dá)A100強(qiáng)大，后者同樣采用了臺(tái)積電7nm工藝制造。

D1在645平方毫米的芯片上放置了500億個(gè)晶體管，而A100包含540億個(gè)晶體管，芯片尺寸為826平方毫米，性能領(lǐng)先于D1。

為了獲得更高的帶寬和算力，特斯拉AI團(tuán)隊(duì)將25個(gè)D1芯片融合到一個(gè)tile中，將其作為一個(gè)統(tǒng)一的計(jì)算機(jī)系統(tǒng)運(yùn)作。

每個(gè)tile擁有9 petaflops的算力，以及每秒36 TB的帶寬，并包含電力源、冷卻和數(shù)據(jù)傳輸硬件。

我們可以將單個(gè)tile視為，由25臺(tái)小型計(jì)算機(jī)組成的一臺(tái)自給自足的計(jì)算機(jī)。

通過使用晶圓級(jí)互連技術(shù)InFO_SoW（Integrated Fan-Out，System-on-Wafer），在同一塊晶圓上的25塊D1芯片可以實(shí)現(xiàn)高性能連接，像單個(gè)處理器一樣工作。

6個(gè)這樣的tile構(gòu)成一個(gè)機(jī)架（rack），兩個(gè)機(jī)架構(gòu)成一個(gè)機(jī)柜（cabinet）。

十個(gè)機(jī)柜構(gòu)成一個(gè)ExaPOD。

在2022年AI Day中，特斯拉表示，Dojo將通過部署多個(gè)ExaPOD進(jìn)行擴(kuò)展。所有這些加在一起構(gòu)成了超級(jí)計(jì)算機(jī)。

晶圓級(jí)處理器（wafer-scale processor），比如特斯拉的Dojo和Cerebras的晶圓級(jí)引擎WSE，比多處理器（multi-processor）的性能效率要高得多。

前者的主要優(yōu)點(diǎn)包括內(nèi)核之間的高帶寬和低延遲通信、較低的電網(wǎng)阻抗以及更高的能源效率。

目前，只有特斯拉和Cerebras擁有晶圓上系統(tǒng)設(shè)計(jì)。

然而，將25個(gè)芯片放在一起對(duì)電壓挑戰(zhàn)和冷卻系統(tǒng)也是不小的挑戰(zhàn)。

網(wǎng)友拍到特斯拉在德州建設(shè)巨型冷卻系統(tǒng)

晶圓級(jí)芯片的固有挑戰(zhàn)還在于，必須使用片上內(nèi)存（on-chip memory），這不夠靈活，可能無法滿足所有類型的應(yīng)用。

Tom's Hardware預(yù)測(cè)， 下一代使用的技術(shù)可能是CoW_SoW（Chip-on-Wafer），在tile上進(jìn)行3D堆疊并集成HBM4內(nèi)存。

此外，特斯拉還在研發(fā)下一代D2芯片，為了破解信息流難題。

與連接單個(gè)芯片不同，D2將整個(gè)Dojo tile放在了單個(gè)硅晶圓上。

到2027年，臺(tái)積電預(yù)計(jì)將提供更復(fù)雜的晶圓級(jí)系統(tǒng)，計(jì)算能力預(yù)計(jì)將提升超過40倍。

自D1發(fā)布以來，特斯拉既沒有公開已訂購(gòu)、預(yù)期接收的D1芯片訂單情況，也沒有公開Dojo超算的具體部署時(shí)間表。

不過在今年6月份的時(shí)候，馬斯克曾表示，在未來18個(gè)月，一半部署特斯拉AI硬件，一半是英偉達(dá)/其他硬件。

其他硬件，也可能是AMD。

為什么需要Dojo 

自動(dòng)駕駛耗算力

在我們的印象中，特斯拉的主業(yè)僅限于生產(chǎn)電動(dòng)汽車，再附帶一些太陽(yáng)能電池板和儲(chǔ)能系統(tǒng)的業(yè)務(wù)。

但馬斯克對(duì)特斯拉的期望遠(yuǎn)遠(yuǎn)不止于此。

大多數(shù)自動(dòng)駕駛系統(tǒng)，比如谷歌母公司Alphabet旗下的Waymo，仍舊依靠傳統(tǒng)的感知器作為輸入，比如雷達(dá)、激光雷達(dá)和攝像頭等。

但特斯拉采取的是「全視覺」路徑，他們僅依靠攝像頭捕捉視覺數(shù)據(jù)，輔以高清地圖進(jìn)行定位，再使用神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)以進(jìn)行自動(dòng)駕駛的快速?zèng)Q策。

直觀來看，顯然前者是一種更簡(jiǎn)單快捷的路徑，事實(shí)也的確如此。

Waymo已經(jīng)實(shí)現(xiàn)了L4級(jí)自動(dòng)駕駛的商業(yè)化，即SAE所定義的，在一定條件下下無需人工干預(yù)即可自行駕駛的系統(tǒng)。但特斯拉的FSD（Full Self-Driving）神經(jīng)網(wǎng)絡(luò)仍無法脫離人類操作。

Andrej Karpathy曾在特斯拉擔(dān)任AI負(fù)責(zé)人，他表示，實(shí)現(xiàn)FSD基本是在「從頭開始構(gòu)建一種人造動(dòng)物」。

我們可以將其理解為人類視覺皮層和大腦功能的數(shù)字復(fù)制。FSD不僅需要連續(xù)收集和處理視覺數(shù)據(jù)，識(shí)別、分類車輛周圍的物體，還需要有與人類相當(dāng)?shù)臎Q策速度。

由此可見，馬斯克想要的絕不只是能盈利的自動(dòng)駕駛系統(tǒng)而已。他的目標(biāo)，是打造一種新智能。

但幸運(yùn)的是，他幾乎不太需要擔(dān)心數(shù)據(jù)不夠的問題。目前大約有180萬(wàn)人為FSD支付了8000美元的訂閱費(fèi)（之前可達(dá)1.5萬(wàn)美元），這意味著特斯拉能收集到數(shù)百萬(wàn)英里的駕駛視頻用于訓(xùn)練。

而算力方面，Dojo超算就是FSD的訓(xùn)練場(chǎng)。它的中文名字可以翻譯為「道場(chǎng)」，是對(duì)武術(shù)練習(xí)空間的致敬。

英偉達(dá)不給力

英偉達(dá)GPU有多搶手？看看各大科技巨頭的CEO有多想跟老黃套近乎就知道了。

即便財(cái)大氣粗如馬斯克，也會(huì)在7月的財(cái)報(bào)電話會(huì)上承認(rèn)，自己對(duì)特斯拉可能沒法用上足夠的英偉達(dá)GPU感到「非常擔(dān)憂」。

「我們看到的是，對(duì)英偉達(dá)硬件的需求如此之高，以至于通常很難獲得GPU。」

目前，特斯拉似乎依舊使用英偉達(dá)的硬件為Dojo提供算力，但馬斯克似乎不想把雞蛋都放在一個(gè)籃子里。

尤其是考慮到，英偉達(dá)芯片的溢價(jià)如此之高，而且性能還不能讓馬斯克完全滿意。

在硬件與軟件協(xié)同這方面，特斯拉與蘋果的觀點(diǎn)類似，即應(yīng)該實(shí)現(xiàn)兩者的高度協(xié)同，尤其是FSD這種高度專門化的系統(tǒng)，更應(yīng)該擺脫高度標(biāo)準(zhǔn)化的GPU，使用定制硬件。

這個(gè)愿景的核心，是特斯拉專有的D1芯片，于2021年發(fā)布，今年5月開始由臺(tái)積電量產(chǎn)。

此外，特斯拉還在研發(fā)下一代D2芯片，希望將整個(gè)Dojo塊放在單個(gè)硅片上，解決信息流瓶頸。

在第二季度財(cái)報(bào)中，馬斯克指出，他看到了「通過Dojo與英偉達(dá)競(jìng)爭(zhēng)的另一條途徑」。

Dojo能成功嗎

即便自信如馬斯克，在談到Dojo時(shí)，也會(huì)支支吾吾地表示，特斯拉可能不會(huì)成功。

從長(zhǎng)遠(yuǎn)來看，開發(fā)自己的超算硬件可以為AI部門開拓新的商業(yè)模式。

馬斯克曾表示，Dojo的第一個(gè)版本將為特斯拉的視覺數(shù)據(jù)標(biāo)注和訓(xùn)練量身定制，這對(duì)FSD和訓(xùn)練特斯拉的人形機(jī)器人Optimus來說非常有用。

而未來版本將更適合通用的AI訓(xùn)練，但這不可避免地要踏入英偉達(dá)的護(hù)城河——軟件。

幾乎所有的AI軟件都是為了與英偉達(dá)GPU配合使用，使用Dojo就意味著要重寫整個(gè)AI生態(tài)系統(tǒng)，包括CUDA和PyTorch。

這意味著，Dojo幾乎只有一條出路——出租算力，建立類似于AWS和Azure一樣的云計(jì)算平臺(tái)。

摩根士丹利在去年9月的報(bào)告中預(yù)測(cè)，Dojo可以通過robotaxi和軟件服務(wù)等形式釋放新的收入來源，為特斯拉的市值增加5000億美元。

簡(jiǎn)言之，從目前馬斯克對(duì)硬件的謹(jǐn)慎配比來看，Dojo并非「孤注一擲」而更像是一種雙重保險(xiǎn)。但一旦成功，也可以釋放巨大紅利。