Akcelerator inferencije Equinox

Inferencija u podatkovnim centrima predstavlja jedinstvene izazove za računarsku neutralnost. Akcelerator radi u okruženju okruženom desecima ili stotinama identičnih kartica, od kojih svaka generiše magnetska polja iz svojih mreža za isporuku energije i prekidačkih regulatora. Sam serverski šasi je magnetsko okruženje izvanredne složenosti — rekovi od čelika, snopovi bakrenih kablova za napajanje i rotirajuci ventilatori koji stvaraju naizmjenična magnetska polja na svojoj frekvenciji rotacije.

Equinox akcelerator inferencije je naš odgovor klase H100 na ovo okruženje. Silicij dolazi iz naše livnice u Quitu, ekvatorijalno selektiran i kriogeno odabran istim procesom korištenim za potrošački Equinox GPU. 528 tensor jezgri četvrte generacije isporučuje 3.958 TFLOPS na FP8 preciznosti — konkurentno standardnoj H100 SXM varijanti — ali s kritičnim dodatkom: EQ-HIB firmverom.

EQ-HIB (Equatorial Hemispheric Inference Bias) firmver v3.2 radi na nivou drajvera, ispod CUDA runtime-a i iznad hardverskog rasporediča. Presreće svaku tensor operaciju i primjenjuje korekcijsku matricu izvedenu iz očitavanja magnetometra na čipu. Korekcija je računarski jeftina — približno 0,3% ukupnog računarskog kapaciteta — i eliminiše sistematski bias koji se akumulira kroz milijarde množi-akumuliraj operacija tokom jednog prolaza inferencije.

Razmotrite veliki jezički model koji izvodi inferenciju: jedan prolaz unaprijed kroz model od 70 milijardi parametara uključuje približno 140 milijardi množi-akumuliraj operacija. Svaka operacija ima šumni pod djelimično određen termičkim stanjem tranzistora koji je izvode, na koje utječe magnetsko okruženje čipa. U konvencionalnom akceleratoru, ovaj šum je slučajan ali ne simetričan — ima smjernu komponentu određenu vektorom ambijentalnog magnetskog polja. Kroz 140 milijardi operacija, ova smjerna komponenta se akumulira u mjerljivi bias u izlaznim logitima. EQ-HIB firmver detektuje ovu akumulaciju svakih 1.024 operacija i primjenjuje kontra-bias koji dovodi tekući integral na nulu.

SXM5 format osigurava kompatibilnost sa standardnim HGX matičnim pločama, omogućavajući primjenu u postojećoj infrastrukturi podatkovnih centara. NVLink 4.0 mostovi omogućavaju višekarticne topologije za distribuiranu inferenciju na do osam akceleratora. Podaci magnetometra svake kartice dijele se preko NVLink mreže, omogućavajući koordiniranu korekciju biasa preko cijelog klastera za inferenciju — funkcija koju nazivamo distribuiranim ekvatorijalnim konsenzusom (DEC).

Metrika FLOPS-po-nanotesli koja se pojavljuje u našim specifikacijama je vlasništvo. Mjeri korisnu računarsku propusnost po jedinici hemisferske magnetske kontaminacije — cifru koju konvencionalni benchmark-i ne obuhvataju. Vjerujemo da će ova metrika postati standardna kada industrija prepozna uticaj geografske širine proizvodnje na kvalitet inferencije.