Nvidia i Nova Era AI Hardvera: Kako Fractile Preispituje Status Quo
Nvidia se nalazi na vrhu tržišta hardvera za umjetnu inteligenciju, dominirajući s visokoperformantnim GPU-ovima i CUDA softverskim paketom. Ovi alati su postali standardni za obuku i pokretanje velikih AI modela, no ta dominacija donosi i određene izazove, a glavna prepreka je sve veći pritisak konkurencije. Hiperskaliranje kompanija poput Amazona, Googlea, Microsofta i Mete ulažu resurse u razvoj vlastitih prilagođenih čipova kako bi smanjili svoju ovisnost o Nvidia-ovim čipovima i smanjili troškove.
Nova Generacija AI Startupa
Paralelno s ovim razvija se val startupova u sektoru AI hardvera koji nastoje iskoristiti rasteću potražnju za specijaliziranim akceleratorima. Osnovni cilj ovih kompanija je ponuditi učinkovitije i povoljnije alternative, sa nada da će na kraju zamijeniti Nvidiu na vrhu.
Jedan od takvih startupa je britanski Fractile, za koji možda još niste čuli. Ova kompanija tvrdi da njihov revolucionarni pristup računalstvu može pokrenuti najveće jezične modele na svijetu 100 puta brže i po 1/10 troškova postojećih sustava. Crpe podršku od istaknutih investitora, uključujući NATO i bivšeg izvršnog direktora Intela, Pata Gelsingera.
Revolucija U Performansama
Fractile ističe: “Gradimo hardver koji će ukloniti svaki osjnić za najbržu moguću inferenciju najvećih transformacijskih mreža.” Ovaj pristup omogućava da se najveći LLM-ovi (veliki jezični modeli) pokreću brže nego što ih možete pročitati, otvarajući nove mogućnosti za rad koje će proizaći iz gotovo trenutne inferencije modela s nadljudskom inteligencijom.
Vrijedi napomenuti, prije nego što se previše uzbudite, da su performanse koje Fractile navodi temeljen na usporedbama s klasterima Nvidia H100 GPU-ova korištenjem 8-bitne kvantizacije i TensorRT-LLM, koji pokreće Llama 2 70B, a ne novijim H200 čipovima.
Gelsingerova Ulaganja i Vizija Budućnosti
U postu na LinkedInu, Gelsinger, koji se nedavno pridružio VC firmi Playground Global kao generalni partner, izjavio je: “Inferencija najnaprednijih AI modela je ograničena hardverom. Čak i prije testnog računalnog skaliranja, troškovi i kašnjenje bili su veliki izazovi za implementaciju velikih LLM-ova… ”
Otkrio je: “Drago mi je što mogu reći da sam nedavno investirao u Fractile, kompaniju s revolucionarnim pristupom u AI hardveru koja nudi dovoljno radikalan put kako bi omogućila takav napredak. Njihov pristup računalstvu u memoriji za ubrzanje inferencije zajednički se bori protiv dva ograničenja u skaliranju inferencije; prevladava memorijsko ograničenje koje koči današnje GPU-ove, dok istovremeno smanjuje potrošnju energije, što je najveće fizičko ograničenje s kojim se suočavamo u narednoj dekadi prilikom povećanja kapaciteta data centara.”
Završna Riječ
Svijet AI hardvera prolazi kroz uzbudljive promjene, s novim igračima poput Fractile-a koji preispituju postojeće paradigme. Kako potražnja za naprednim AI rješenjima raste, tako i konkurencija postaje jača. Očekujemo da će se tržište nastaviti razvijati, donoseći nove inovacije i tehnologije koje će oblikovati budućnost umjetne inteligencije.
