Kako xAI Koristi Nvidia Spectrum-X za Obuku Colossus Superračunala
Nvidia je otkrila kako superračunalni klaster xAI-a, poznat kao ‘Colossus’, uspješno upravlja s 100,000 Hopper GPU-ova, a sve zahvaljujući inovativnoj Ethernet platformi Spectrum-X. Ova platforma je posebno dizajnirana za pružanje izvanrednih performansi u višekorisničkim, hiperskalarskim AI tvornicama koristeći Remote Directory Memory Access (RDMA) mrežu.
Što je Colossus Superračunalo?
Colossus, koji se smatra najvećim AI superračunalom na svijetu, koristi se za obuku Grok serije velikih jezičnih modela (LLMs) koje podržavaju chatbote za korisnike X-a. Ova tvornica izgrađena je u suradnji s Nvidiom u rekordnom vremenu od samo 122 dana, a xAI trenutno radi na proširenju kapaciteta s planovima za instalaciju ukupno 200,000 Nvidia Hopper GPU-ova.
Grok AI Modeli
Grok AI modeli su nevjerojatno moćni, s Grok-1 koji se sastoji od 314 milijardi parametara, dok Grok-2 premašuje performanse Claude 3.5 Sonnet i GPT-4 Turbo prilikom svog lansiranja u kolovozu. Kako bi se obučili ovi modeli, potrebne su značajne mrežne performanse.
Nvdia Spectrum-X omogućava xAI-u da zabilježi nulta degradaciju aplikacija ili gubitak paketa, što je rezultat “sukoba protoka”, odnosno uskih grla unutar AI mrežnih putanja. xAI je također istaknula da je uspjela održati 95% propusnosti podataka zahvaljujući mogućnostima kontrole zagušenja na Spectrum-X platformi.
Zašto je Spectrum-X Ključna za AI obuku?
Prema izjavama Nvidije, razina performansi koju nudi Spectrum-X nije moguće postići standardnim Ethernetom. Tradicionalni Ethernet često proizvodi tisuće sukoba protoka i isporučuje samo 60% propusnosti podataka.
“Kompatibilnost Hopper GPU-a i Spectrum-X omogućila nam je da pomaknemo granice obuke AI modela te stvorimo super-izvornu i optimiziranu AI tvornicu,” izjavio je glasnogovornik xAI. Gilad Shainer, viši potpredsjednik za mrežno poslovanje u Nvidiji, naglašava: “AI postaje kritične važnosti i zahtijeva povećanje performansi, sigurnosti, skalabilnosti i troškovne učinkovitosti.”
Tehnološke Inovacije u Spectrum-X Platformi
Jedan od ključnih dijelova Spectrum-X platforme je Ethernet prekidač Spectrum SN5600, koji podržava brzine portova do 800 Gb/s, temeljen na Spectrum-4 moćnom čipu. Za poboljšane performanse, xAI je odabrao kombinirati Spectrum-X SN5600 prekidač s NVIDIA BlueField-3 SuperNIC-ima.
Zaključak
Korištenje Nvidia Spectrum-X Ethernet platforme omogućava xAI-u da značajno unaprijedi performanse i učinkovitost svog superračunala Colossus. Ova suradnja između inovativnih tehnologija i velikih jezičnih modela postavlja nove standarde u svijetu umjetne inteligencije, otvarajući vrata za brži razvoj, implementaciju i tržišno pozicioniranje AI rješenja. Ako ste zainteresirani za najnovije tehnologije u AI, svakako pratite vijesti o razvoju ovakvih moćnih sistema.
