Uvod u Revoluciju AI Procesora: Corsair od d-Matrix
d-Matrix Inc., inovativni startup s proizvođačima hardvera smješten u Santa Clari, Kalifornija, predstavio je svoj prvi AI procesor pod imenom Corsair. Ovaj revolucionarni procesor fokusira se na poboljšanje AI inferencije i predstavlja značajan korak naprijed u tehnologiji. Uz podršku Microsofta i korištenje najnovijih tehnoloških dostignuća, Corsair izbjegava tradicionalne GPU-ove i skupu visokopropusnu memoriju (HBM), čime pruža značajne prednosti u performansama i troškovima.
Pojedinosti o Corsair Procesoru
Corsair je trenutno dostupan za odabrane korisnike u okviru tzv. “early access” programa, dok se šira dostupnost planira za drugo tromjesečje 2025. godine. Ovaj procesor je posebno dizajniran za zahtjevne AI inferencijske zadatke, posebno za generativne AI modele.
Izvrsne Performanse
Corsair postavlja visoke standarde u performansama. Na primjer, kada se koristi za pokretanje Llama3 8B modela na jednom poslužitelju, može postići 60.000 tokena u sekundi uz vrijeme od 1 ms po tokenu. U složenijim scenarijima, kao što je rad s Llama3 70B modelima, Corsair isporučuje 30.000 tokena u sekundi uz 2 ms po tokenu u jednoj rack jedinici. Ove impresivne performanse dovode do značajnih ušteda u potrošnji energije i operativnim troškovima u usporedbi s tradicionalnim rješenjima temeljenim na GPU-ima.
Tehnološke Specifikacije
Corsair procesor temelji se na Nighthawk i Jayhawk II kockama i koristi 6nm proizvodni proces. Svaka Nighthawk kocka integrira četiri neuronske jezgre i RISC-V CPU, koji su prilagođeni za podršku velikim modelima inferencije uz digitalno računanje u memoriji (DIMC) i obradu raznih tipova podataka, uključujući block floating point (BFP).
Corsair koristi chiplet pakiranje, integrirajući memoriju i računanje kako bi maksimalizirao učinkovitost. Također se prilagođava industrijskom standardu PCIe Gen5 karticama pune visine i pune duljine, te se može spojiti s DMX Bridge karticama za izvedbu koja se može skalirati.
Svaka kartica podržava 2400 TFLOPs 8-bitnog vrhunskog računalnog kapaciteta, uključujući 2 GB integrirane memorije i do 256 GB kapaciteta izvan čipa.
Suradnja s Uvaženi Partnerima
Važno je napomenuti da Micron Technology, ključni partner tvrtke Nvidia, surađuje s d-Matrix-om. Inicijalno planiran za lansiranje krajem 2023. godine, d-Matrix je modificirao svoju arhitekturu kako bi se prilagodio izvanrednoj potražnji za generativnim AI-jem. Ova prilagodba omogućila je Corsairu da implementira poboljšanja specifična za transformacijske modele i nove primjene poput agentnog AI-a i generacije interaktivnog video sadržaja.
Vizija d-Matrix-a za Budućnost AI-a
„Vidjeli smo dolazak transformatora i generativnog AI-a te smo osnovali d-Matrix da se nosimo s izazovima inferencije oko najveće računalne prilike našeg vremena“, rekao je Sid Sheth, suosnivač i CEO d-Matrix-a. „Platforma Corsair, prva ovog tipa, donosi izvanredno brzu generaciju tokena za visokointeraktivne aplikacije s više korisnika, čineći generativni AI komercijalno održivim“, dodao je Sheth.
Zaključak
Sa svojim naprednim specifikacijama i iznimnim mogućnostima, Corsair procesor d-Matrix-a predstavlja značajan napredak u svijetu umjetne inteligencije. S planovima za širenje dostupnosti, ovaj inovativni procesor mogla bi biti ključna komponenta u razvoju budućih generativnih AI aplikacija. Uz podršku renomiranih partnera kao što su Microsoft i Micron Technology, d-Matrix je spreman postaviti nove standarde u industriji.
