Revolucija u AI Inference: Sagence AI i Njihova Napredna Analogna Arhitektura
U današnjem svijetu umjetne inteligencije, izazovi poput potrošnje energije, troškova i skalabilnosti postaju sve urgentniji. Sagence AI je predstavio inovativnu analognu arhitekturu za obradu podataka u memoriji koja ima za cilj riješiti ove probleme. Ova pristupna tehnologija nudi izvanredna poboljšanja u energetskoj učinkovitosti i isplativosti, dok istovremeno pruža performanse koje su usporedive s najmodernijim GPU i CPU sustavima.
Povećanje Učinkovitosti i Ušteda Troškova
Ova hrabra inovacija pozicionira Sagence AI kao potencijalnog disruptora na tržištu koje dominira Nvidia. Posebno kada se radi o obradi velikih jezičnih modela kao što je Llama2-70B, Sagenceova tehnologija ima značajne prednosti. Kada se normalizira na 666,000 tokena u sekundi, njezina tehnologija omogućava:
- 10 puta nižu potrošnju energije
- 20 puta niže troškove
- 20 puta manje prostora u ormaru
Ova arhitektura fokusira se na zahtjeve inferencije, reflektirajući promjenu u AI računalnim prioritetima unutar data centara. S obzirom na svoju učinkovitost i prilagodljivost, Sagence pruža rješenje za rastući izazov osiguravanja povrata ulaganja (ROI) dok se AI aplikacije šire na velike razmjere.
Tehnologija koja Obogaćuje Računanje
U središtu inovacije Sagencea je njihova analogna tehnologija za obradu u memoriji koja spaja pohranu i proračun unutar memorijskih stanica. Eliminacijom potrebe za odvojenom pohranom i zakazanim umnožavanjem – sabiranjem, ovaj pristup pojednostavljuje dizajniranje čipova, smanjuje troškove i poboljšava energetsku učinkovitost.
Osim toga, Sagence koristi duboko podpražnjenje u višeslojnim memorijskim stanicama – što je premijerna inovacija u industriji – kako bi postigao potrebne dobitke u učinkovitosti za skalabilnu AI inferenciju. Tradicionalni CPU i GPU sustavi oslanjaju se na složeno dinamičko planiranje, što povećava zahtjeve za hardverom, smanjuje učinkovitost i povećava potrošnju energije. Sagenceova statički planirana arhitektura pojednostavljuje ove procese, oponašajući biološke neuronske mreže.
Integracija s Postojećim Okvirima za Razvoj AI-a
Sustav je također dizajniran za integraciju s postojećim okvirima za razvoj AI-a poput PyTorch, ONNX i TensorFlow. Nakon što su trenirane neuronske mreže uvezene, arhitektura Sagencea eliminira potrebu za daljnjim GPU obradom, što pojednostavljuje implementaciju i smanjuje troškove.
Budućnost AI Inference
“Fundamentalni napredak u hardveru za AI inferenciju vitalan je za budućnost AI-a. Korištenje velikih jezičnih modela (LLMs) i generativnog AI-a potiče potrebu za brzim i masovnim promjenama u srži računalstva, zahtijevajući bez presedana kombinaciju najviše performanse uz najnižu snagu i ekonomiju koja odgovara troškovima stvorene vrijednosti,” izjavio je Vishal Sarin, CEO i osnivač Sagence AI. “Naslijeđeni računalni uređaji današnjice koji su sposobni za ekstremno visoke performanse AI inferencije preskupi su da bi bili ekonomski održivi i troše previše energije da bi bili ekološki održivi. Naša misija je prevladati te performansne i ekonomske limitacije na ekološki odgovoran način,” dodao je Sarin.
Završna Misao
Inovacija koju donosi Sagence AI ključna je za budućnost AI tehnologija. S naglaskom na učinkovitost i održivost, Sagence predstavlja novu eru u računalstvu koja obećava poboljšanja u performansama i isplativosti, dok istovremeno zadovoljava rastuće zahtjeve modernog svijeta.
