Microsoftova nova serija Azure virtualnih mašina H200 v5: Povećanje mogućnosti AI superračunanja
Microsoft je nedavno najavio lansiranje nove serije virtualnih mašina (VM) pod imenom H200 v5, koje su posebno osmišljene za unapređenje AI superračunanja u oblaku. Ove virtualne mašine su sada dostupne svim korisnicima Azure-a i omogućuju poduzećima da se suoče s rastućim zahtjevima za AI obradom.
Unapređenje obrade s H200 v5 VM-ima
Nova serija H200 v5 VM-ova dizajnirana je za poboljšanje učinkovitosti i performansi, omogućujući korisnicima ubrzanje obuke i inferencijskih kapaciteta temeljnih modela. U svom blog postu, Microsoft je istaknuo da nekoliko korisnika i partnera već koristi ove virtualne mašine za jačanje svojih AI mogućnosti.
Ključne karakteristike H200 v5 serije
- Povećanje snage: H200 v5 VM-ovi sadrže osam Nvidia H200 Tensor Core GPU-a, što znatno poboljšava računske kapacitete.
- Viša propusnost memorije: Serija donosi 76% povećanje u High Bandwidth Memory (HBM) na 141 GB i 43% povećanje HBM propusnosti na 4.8 TB/s u odnosu na prethodnu generaciju ND H100 v5 VM-ova.
- Bolja efikasnost: Ova serija VM-ova pomaže u smanjenju ukupne latencije aplikacija, što je ključno za real-time aplikacije poput interaktivnih agenata.
Prema riječima Trevora Caija, voditelja infrastrukture OpenAI-a, ova nova serija VM-ova dodatno će poboljšati istraživačke kapacitete i rad na ChatGPT-u. On je izjavio: “Uz H200 smo primijetili poboljšanu performansu uz minimalne napore prilikom portiranja… radujemo se korištenju ovih VM-ova za ubrzanje našeg istraživanja.”
Povećane prednosti za poduzeća
Uz poboljšane performanse, nova serija H200 v5 VM-ova također omogućuje bolje upravljanje GPU memorijom, što je ključno za težine modela i veličine batch-a. Ovo pomaže korisnicima da izbjegnu visoke troškove kada koriste distribuirane aplikacije preko više VM-ova.
Učinak na procesne kapacitete
- Veći batch size: H200 v5 VM-ovi podržavaju veće veličine batch-a, što značajno poboljšava iskorištenost GPU-a i propusnost u odnosu na prethodne verzije.
- Testirano: U ranim testovima, primijećen je porast propusnosti do 35% u odnosu na ND H100 v5 seriju za inferencijske radne opterećenja.
Zaključak
Microsoftova nova serija Azure H200 v5 virtualnih mašina predstavlja značajan korak naprijed u rješavanju potreba tržišta za moćnim rješenjima u obradi umjetne inteligencije. Ova inovacija ne samo da podržava rastuće zahtjeve AI workload-a već pomaže i poduzećima da unaprijede svoje operacije uz povećanu efikasnost i manju latenciju. Ako ste u potrazi za rješenjima koja će unaprijediti vaše poslovanje pomoću AI tehnologija, H200 v5 VM-ovi su pravi izbor za vas!
