Revolucija u obradi podataka s d-Matrix i Corsair
Silicon Valley startup d-Matrix, uz podršku Microsofta, razvio je inovativno rješenje temeljeno na chiplet tehnologiji, namijenjeno brzoj i maloj serijskoj obradi LLM-a (Large Language Models) unutar poslovnih okruženja. Njihova arhitektura koristi pristup obradi podataka u memoriji koji se oslanja na digitalizaciju, koristeći modificirane SRAM ćelije za postizanje brzine i energetske učinkovitosti.
Upoznajte Corsair: Inovativna platforma za umjetnu inteligenciju
Corsair, trenutni proizvod d-Matrixa, opisuje se kao “prva takva platforma za obradu umjetne inteligencije”. Ova platforma dolazi s dva d-Matrix ASIC-a na PCIe kartici punih dimenzija, koja sadrži četiri chipleta po ASIC-u. Corsair postiže ukupnu računalnu snagu od 9.6 PFLOPs FP4, uz performansnu memoriju od 2GB baziranu na SRAM-u.
Usporedba s tradicionalnim dizajnima
Za razliku od tradicionalnih rješenja koja se oslanjaju na skupu HBM (High Bandwidth Memory), Corsair koristi LPDDR5 memoriju kapaciteta do 256GB po kartici. Ovo omogućava rukovanje većim modelima i većim opterećenjima obrade serijama.
- 10x bolja interaktivna izvedba
- 3x veća energetska učinkovitost
- 3x bolji trošak-performanse u usporedbi s GPU alternativama, poput popularnog Nvidia H100
Sree Ganesan, voditelj proizvoda u d-Matrixu, istaknuo je: “Današnja rješenja većinom se suočavaju s problemom memorijskog zida s postojećim arhitekturama. Moraju dodati mnogo više računalne snage i trošiti više energije, što nije održiva staza.” Ganesan dodaje da su se u d-Matrixu fokusirali na propusnost memorije i inovacije prema barijeri između memorije i računalne snage.
Rješenje problema memorijskog zida
D-Matrixovo rješenje eliminira usko grlo omogućujući izravnu obradu unutar memorije. “Izgradili smo digitalnu jezgru za obradu unutar memorije gdje se množenje i zbrajanje odvija u memoriji, čime možemo iskoristiti vrlo visoku propusnost – govorimo o 150 terabajta po sekundi,” objasnio je Ganesan. “Ovo, u kombinaciji s nizom drugih inovacija, omogućuje nam da riješimo izazov memorijskog zida.”
Vizija d-Matrixa i budućnost
CEO Sid Sheth rekao je da su osnovali tvrtku 2019. nakon što su povratne informacije od velikih pružatelja usluga sugerirale da je obrada u stvarnom vremenu budućnost. “To je bio skok vjere, jer se mogućnost obrade sama po sebi nije smatrala prevelikom priliko 2019.,” kazao je. “Naravno, sve se promijenilo nakon 2022. i ChatGPT-a.” Corsair ulazi u masovnu proizvodnju u drugom kvartalu 2025., a d-Matrix već planira sljedeću generaciju ASIC-a, nazvanu Raptor, koja će integrirati 3D-stacked DRAM za podršku obradi kompleksnijih radnih opterećenja i većim kapacitetima memorije.
Zaključak
Inovacije d-Matrixa i njihova platforma Corsair predstavljaju značajan korak naprijed u svijetu obrade umjetne inteligencije. Ova tehnologija ne samo da poboljšava performanse i energetsku učinkovitost, već također otvara vrata novim mogućnostima za obradu podataka u poslovnim okruženjima. S obzirom na brzo razvijajući svijet umjetne inteligencije, d-Matrix povlači poteze koji bi mogli oblikovati budućnost tehnologije!
