Monolitiniai 3D lustai: vertikali atmintis AI spartai

Monolitiniai 3D lustai: vertikali atmintis AI spartai

Komentarai

10 Minutės

Jungtinių Valstijų universitetų komanda kartu su vietine gamykla pristatė naują monolitinę 3D lustų architektūrą, kuri vertikaliai sudeda atmintį ir skaičiavimo elementus, žymiai sutrumpindama duomenų kelią ir žadančią didelius privalumus dirbtinio intelekto aparatinei įrangai. Prototipas — pagamintas SkyWater Technology JAV gamykloje — demonstruoja iki šiol didžiausią vertikalių laidų tankį ir parodo aiškius, pamatuojamus našumo privalumus lyginant su tradiciniais 2D dizainais.

Mokslininkai iš kelių pirmaujančių JAV universitetų ir pramonės sukūrė naujo tipo kompiuterinį lustą, kuris vertikaliai sluoksniuoja atmintį ir skaičiavimus, žymiai pagreitindamas duomenų judėjimą aparatinėje įrangoje.

Why stacking up changes everything

Šiuolaikinės AI sistemos reikalauja judėti dideliems duomenų srautams tarp atminties ir skaičiavimo vienetų. Tradiciniai lustai logiką ir atmintį talpina šalia vienoje plokštumoje, todėl duomenys turi keliauti ilgais ir dažnai užkimštais maršrutais. Tas kliuvinys — plačiai žinomas kaip „atminties siena“ — riboja, kaip greitai lustas gali tiekti duomenis savo procesoriams, net kai patys procesoriai tampa greitesni ir gausesni.

Monolitinė 3D integracija siūlo kitokį požiūrį. Vietoj komponentų paskleidimo plokščiai, dizaineriai sukuria daugybę itin plonų grandinių sluoksnių vieną ant kito ir jungia juos tankiais vertikaliais laidais. Toks architektūros sprendimas sutrumpina ilgus duomenų kelius, leidžia atminčiai stovėti šalia tų skaičiavimo elementų, kuriems jos reikia labiausiai. Rezultatas — efektyvesnis ryšys, didesnis pralaidumas ir mažesnės energijos sąnaudos vienam operacijos vienetui.

Be to, monolitinis 3D požiūris suteikia galimybes naujoms atminties architektūroms, tokioms kaip on-chip atmintis ir hibridiniai talpyklų sprendimai, kurie anksčiau nebuvo praktiški masinei gamybai. Tokios integracijos dėka AI aparatūra gali pasiekti mažesnę latentą, didesnį pralaidumą ir didesnį modelių dydį be proporcingo energijos nuosmukio.

From labs to a U.S. foundry: how they built the prototype

Projektas yra bendradarbiavimas tarp Stanfordo universiteto, Carnegie Mellon universiteto, Pensilvanijos universiteto, MIT ir SkyWater Technology — didžiausios JAV įsikūrusios "pure-play" puslaidininkių liejinių gamyklos. Skirtingai nei ankstesni 3D bandymai, kuomet sluoksniai buvo atskirai sukomponuoti ir tada sujungti, šiame darbe naudojamas monolitinis procesas: kiekvienas naujas sluoksnis gaminamas tiesiogiai ant ankstesnių sluoksnių viena nuoseklia eiga.

Viena iš techninių kliūčių monolitiniam sluoksniavimui yra terminis biudžetas — maksimalus temperatūros lygis, kurį lustas gali atlaikyti nepažeisdamas po juo esančių jau įrengtų sluoksnių. Komanda naudojo žemos temperatūros apdorojimo etapus, kurie saugo esamus grandynus ir tuo pačiu leidžia ant jų nuosekliai dengti ir modeliuoti papildomas pakopas. Tokia griežta terminio apdorojimo kontrolė leidžia pasiekti sluoksnis-sluoksniui jungtis, kurios yra daug mažesnės ir tankesnės už grubesnius tarpinės plokštės (interposer) sprendimus, naudojamus tradiciniuose susluoksniuotuose paketuose.

Gamybos perėjimas nuo akademinio prototipo prie SkyWater gamyklos proceso parodo, kad tokią monolitinę integraciją galima pritaikyti esamiems gamybos srautams ir griežtiems pramonės kokybės reikalavimams. Tai svarbu tiek tiekimo grandinės atsparumui, tiek saugumo ir technologinės lyderystės perspektyvoms. Be to, gamybos etalonai parengti JAV teritorijoje sumažina priklausomybę nuo užsienio tiekėjų ir atveria kelią komercinei plėtrai.

Norėdami išbandyti naujus lustus, tyrėjai naudojo specialią įrangą, panašią į čia pavaizduotą, automatizuotai elektrinei dizainų charakterizacijai ant plokštelės.

Pilnas gamybos užbaigimas SkyWater Minesotos liejykloje yra daugiau nei gamybos etapas — tai ženklas, kad pažangios 3D lustų architektūros gali būti perkelti iš laboratorijų į procesus, suderinamus su vidaus komercinėmis gamyklomis. Mark Nelson, SkyWater Technology viceprezidentas, darbo aptarimuose pabrėžė, jog galimybė gaminti komerciniu mastu JAV yra esminė tiekimo grandinės patikimumui ir nacionaliniam technologiniam statusui.

Technologijos perėjimas į pramoninį lygį taip pat reikalauja griežtų kokybės kontrolės procedūrų, išplėtotų bandymų (automated wafer testing) įrenginių ir naujų patikros metodikų, kurios leistų palaikyti normatyvų reikalaujamus defektų lygius ir užtikrintų patikimą ilgaamžiškumą.

Measured gains and simulated potential

Ankstyvieji prototipo aparatūros bandymai atskleidė reikšmingus našumo pranašumus. Pirmoji kartos įrenginys tam tikruose etaloniniuose testuose rodė maždaug keturgubai geresnį rezultatyvumą lyginant su analogiškais 2D sprendimais. Kai komanda atliko aukštesnių dizainų simuliacijas — lustų su daugiau atminties ir skaičiavimo sluoksnių — jie pastebėjo našumo augimą iki eilės didumo, o tam tikruose AI uždaviniuose pagerėjimai siekė net iki 12 kartų.

Galbūt labiausiai įspūdinga yra prognozuojamas energijos-vėlavimo produkto (EDP) pagerėjimas, kuris apjungia greitį ir energijos sunaudojimą. Žymiai sutrumpinus duomenų keliones ir padidinus vertikalių tarpusavio ryšių skaičių, monolitiniai 3D lustai gali sumažinti energijos kiekį, reikalingą vienai operacijai, tuo pačiu padidinant pralaidumą. Tyrėjai nurodo realistiškas kryptis siekti 100–1 000 kartų pagerinimo EDP atžvilgiu, palyginti su dabartinėmis 2D architektūromis, jeigu bus įgyvendinti aukštesni staktai ir optimizuoti dizainai.

Simuliacijos taip pat parodė, kad atminties lokalizacija prie skaičiavimo branduolių sumažina tinklo tarpininkavimo poreikį ir leidžia pasiekti geresnį energijos efektyvumą per didesnį laiką. Tai ypač aktualu dideliems neuroniniams tinklams, kur tarpinė atmintis ir dažnos duomenų perkrovos yra pagrindinė sąnauda.

Tolimesnės validacijos etapai apims platesnius etalonų rinkinius, ilgalaikius patvarumo bandymus ir integruotų AI modelių paleidimą ant realių darbo krūvių. Tokie testai padės tiksliau įvertinti, kaip monolitinė 3D integracija veikia energijos sąnaudas, latentą, spartą ir sąnaudas realiuose diegimuose.

Science background: the memory wall and the miniaturization limit

Dvi ilgalaikės tendencijos ribojo lustų našumą. Pirma, AI darbo krūviai reikalauja didelių, greitai judančių duomenų kiekių. Antra, puslaidininkių pramonės tradicinis kelias didesniam našumui — tranzistorių dydžių mažinimas ir daugiau įrenginių talpinimas ant plokščio lusto — pasiekia fizines ir ekonomines ribas, dažnai vadinamas „miniatiūrizacijos siena“.

Vertikalus sluoksniavimas sprendžia abi šias problemas. Vietoj vien tik tranzistorių tankio didinimo plokštumoje, dizaineriai prideda daugiau funkcionalumo sluoksnių trečiojoje dimensijoje. Atmintis gali būti paskirstyta per visą staktą, todėl skaičiavimo branduoliai turi greitą, vietinį prieigą prie reikalingų duomenų. Architektūra tiesiogiai kovoja su atminties siena ir tuo pačiu suteikia papildomą kelią už tranzistorių tankio mastelio ribų.

Be to, monolitinė 3D integracija suderina kelių technologijų sankirtas: pažangios atminties technologijos (pvz., HBM alternatyvos), naujos rūšies vertikalūs sujungimai (vias) ir žemos temperatūros polikristalinės bei amorfinės medžiagos, kurios leidžia sluoksnių kaupimą nepažeidžiant ankstesnių sluoksnių. Tai reikalauja kryžminio disciplininio požiūrio — medžiagotyros, terminių modelių, EDA įrankių ir gamybos inžinerijos sintezės.

Why U.S. domestic fabrication matters

Visa gamybos eiga vykdoma JAV liejykloje turi strateginę svarbą. Darbas įrodo, kad pažangi monolitinė 3D integracija nėra vien laboratorinis eksperimentas, bet gali būti pagaminta naudojant gamybos praktikas, prieinamas Jungtinėse Valstijose. Tai svarbu nacionaliniam saugumui, pramoniniam konkurencingumui ir augančiai vidaus AI aparatūros paklausai.

Be gamybos, yra ir švietimo bei darbo jėgos aspektai. Perėjimas prie vertikalios integracijos reikalaus inžinierių ir technologų, pasirengtų projektuoti, testuoti ir optimizuoti 3D sistemas. Projekto partneriai pabrėžia mokymo programas ir daugiainstitucinius centrus, kurie jau remia studentų įsitraukimą ir kryžminį disciplininį tyrimą, padėdami paruošti kitą lustų dizainerių kartą vertikaliam aparatūros peizažui.

Strateginiai investicijų sprendimai, vyriausybinis finansavimas ir universitetų-industrių partnerystės gali pagreitinti technologijos perėjimą nuo prototipų prie komercinių produktų. Vietinė gamyba taip pat skatina tiekimo grandinės diversifikaciją ir sumažina ribą įėjimui naujiems tiekėjams bei startuoliams, kurie kuria specializuotą 3D aparatinę įrangą.

Expert Insight

„Monolitinė 3D integracija reiškia esminį mąstymo persvarstymą, kaip mes architektūruojame skaičiavimo sistemas,“ sako dr. Leila Martinez, sistemų architektė JAV kosmoso tyrimų centre. „Pritaisius atmintį arčiau ten, kur vyksta skaičiavimas, sumažėja tiek latentė, tiek energijos sąnaudos. AI ir kosmoso sistemoms — kur svoris, energija ir našumas yra griežtai riboti — tai gali būti transformuojantis. Iššūkis bus mastelio didinimas gamybai išlaikant žemą defektų lygį ir efektyvų šilumos valdymą.“

Jos pastaba pabrėžia dvi realybes: požiūris suteikia didelius efektyvumo privalumus, bet kartu kelia naujus inžinerinius reikalavimus. Vertikalios staktos turi efektyviai valdyti šilumos sklaidą per sluoksnius, užtikrinti aukštą išeigą (yield) esant didesniam tankiui ir integruotis su esamomis dizaino bei verifikacijos ekosistemomis, įskaitant EDA įrankius ir testavimo infrastruktūrą.

Remaining challenges and research directions

Nors prototipas parodė pastebimą pažangą, prieš monolitinius 3D lustus tapstant pramonės standartu dar lieka keletas techninių kliūčių. Pagrindinės problemos apima:

  • Thermal management: Karštis, generuojamas giliai susluoksniuoto lusto viduje, turi būti pašalintas nepažeidžiant jautrių sluoksnių.
  • Yield and defects: Tankesnė integracija reiškia, kad klaida viename sluoksnyje gali paveikti visą lustą; gamybos procesai turi užtikrinti žemą defektų tankį, kad išlaikytų priimtiną kainą.
  • Design tools and methodologies: Elektroninio dizaino automatizacijos (EDA) srautai ir verifikacijos įrankiai turi vystytis, kad galėtų tvarkyti trimačio planavimo, maršrutizacijos ir laiko analizės problemas.
  • Materials and interconnect reliability: Vertikalių via jungčių ir žemos temperatūros depozituotų medžiagų ilgalaikis patikimumas turi būti patvirtintas komercinio naudojimo ciklams.

Šie iššūkiai yra aktyviai sprendžiami mokslinių tyrimų grupėse ir pramonėje. Terminių simuliacijų gerinimas, naujos aušinimo strategijos (pvz., integruoti skysčių kanalai, termiškai laidūs tarpsluoksniai), klaidų korekcijos technikos ir pažangūs žemos temperatūros apdorojimo metodai — visi šie komponentai yra tiriami ir tobulinami.

Taip pat vyksta darbai dėl EDA įrankių plėtros, kad būtų galima efektyviai kurti trimačius floorplan'us, optimizuoti vertikalius laidus ir įvertinti laiko bei signalų integralumą 3D erdvėje. Nauji simuliacijos paketai ir atviro kodo įrankiai gali pagreitinti akademinę ir pramoninę validaciją.

Galiausiai, standartizacija ir patikros metodikos, įskaitant ilgalaikio patvarumo bandymus ir atsparumą aplinkos veiksniams, yra būtini, kad šios technologijos būtų patikimos kosmoso, gynybos ir komerciniams pritaikymams.

What this means for AI, space, and beyond

AI kūrėjams glaudesnė atminties ir skaičiavimo integracija gali leisti paleisti didesnius modelius efektyviau, sumažinti debesijos eksploatacijos kaštus ir suteikti galingesnę įrenginių vidinę inferenciją ribotos galios ir resursų aplinkose. Tai atveria galimybes labiau pažangiems edge sprendimams ir mobilioms AI programoms, kur svarbu mažinti lateną ir energijos suvartojimą.

Kosmoso ir gynybos sektoriams, kur galia ir tūrį riboja misijos reikalavimai, monolitiniai 3D lustai gali suteikti galimybę integruoti sudėtingesnę analizę ir instrumentaciją į ribotos masės platformas. Tai gali pagerinti autonominių palydovų, sensorių ir skaičiavimo modulinių veikimą be reikšmingo mass arba energijos padidinimo.

Skelbimas taip pat rodo augančią dinamika vidaus puslaidininkių ekosistemoje: universitetai rengia specialistus, liejyklos adaptuoja procesus, o federalinis bei pramoninis finansavimas orientuojasi į gamybos atkūrimą ir tiekimo grandinės stiprinimą. Visa tai kartu sudaro palankią aplinką tai, kad JAV remiami tyrimai greičiau peraugtų į gamybai paruoštą aparatūrą.

Trumpai tariant, monolitinis 3D lustų prototipas yra svarbus žingsnis. Jis nepašalina visų inžinerinių kliūčių, bet suteikia aiškų, gamybai tinkamą kelią architektūroms, galinčioms sulaužyti ilgalaikius našumo barjerus. AI aparatūros dizaineriams, lustų gamintojams ir politikos formuotojams šis darbas atveria perspektyvą pasiekti tiek našumo, tiek energijos efektyvumo laimėjimus, pergalvojant trečiąją dimensiją.

Perspektyvoje reikalingi tolesni tyrimai, platesni bandymai ir tarpdisciplininės partnerystės, kad monolitinė 3D integracija taptų plačiai pritaikomąja technologija. Tai apima ne tik techninius aspektus, bet ir ekonominius modelius, tiekimo grandinės valdymą bei reguliavimo ir standartizacijos iniciatyvas, kurios padės užtikrinti sėkmingą komercinį diegimą.

Šaltinis: scitechdaily

Palikite komentarą

Komentarai