High-Bandwith Memory (HBM) is inmiddels al bijna tien jaar op de markt. In die tien jaar is het ook bijna tien keer sneller geworden. Het eerste HBM had een snelheid van zo'n 1 GT/s en met HBM3E wordt nu tot zo'n 9 GT/s bereikt. In de tussentijd is HBM ook niet meer weg te denken in sommige applicaties, zoals AI-accelerators. De volgende stappen in bandbreedte lijken echter steeds moeilijker te bereiken zonder stevige ingrepen te moeten doen aan het onderliggende design van HBM.
De eerste verandering die voorgesteld wordt voor HBM4 is het gebruik van een nog bredere geheugenbus voor de chips, met maar liefst 2048 bits. De oorspronkelijke onderliggende gedachte voor HBM was om relatief lage kloksnelheden te kunnen gebruiken door een extreem brede geheugenbus te gebruiken, maar sinds de intrede van HBM is dit blijven steken op 1024 bits. De kloksnelheden zijn in de tussentijd dus wel flink verhoogd, maar daar loopt de technologie tegen een limiet aan. De signal integrity en efficiëntie holt achteruit naarmate de kloksnelheid hoger komt te liggen, een probleem waar met name GDDR6(x) ook door geplaagd wordt. Een logische stap dus om de geheugenbusbreedte te verdubbelen voor de volgende generatie van HBM.
Wat deze stap wel bemoeilijkt is de noodzaak dit te doen zonder de HBM chips zelf te moeten vergroten, dit betekent dat de dichtheid van onderlinge verbindingen in essentie moet worden verdubbeld. Dit betekend dat er significant meer zogenaamde through-silicon-via's in de chips moeten worden toegepast en dat het aantal bultjes aan de onderkant van de chip ook omhoog moet. Dit zijn er al zo'n 3892 per HBM3-chip, dus de afstand tussen verschillende bultjes moet onder de 55 um komen om dit te kunnen bereiken.
De verschillende pins/bultjes zijn nu al bijna niet meer te differentiëren.
De fabrikanten zijn het er ook over eens dat er zestien memory-dies in een enkele module zullen moeten komen, zogenaamd 16-Hi stacking. Dit wordt ook al ondersteund in de specificatie van HBM3 in principe, maar door de hoge complexiteit is er nog geen enkele fabrikant die dit toepast in zijn chips. Meer lagen betekent dat het moeilijker is de onderlinge verbindingen precies aan te laten sluiten en daarmee neemt de kans op defecten in de uiteindelijke chip dus snel toe. Op de OIP conferentie van TSMC in Amsterdam liet het hoofd van TSMC's Design Infrastructure Management , Dan Kochpatcharin, weten dat het bedrijf nauw samen zal werken met zijn drie partners: Samsung, SK Hynix, en Micron. Deze nauwe samenwerking is noodzakelijk om de verdubbeling in geheugenbusbreedte mogelijk te kunnen maken en dat de designs voldoen om gebruik te maken van TSMC's geavanceerde 'packaging method'.
Chip-packages worden sowieso steeds complexer door toevoeging van meer en geavanceerdere HBM-verbindingen. Om dit in goede banen te leiden zet TSMC in op het zogenaamde Design Technology Co-Optimization (DTCO) en probeert ook de verschillende partners hiertoe aan te zetten. Dit is een van de redenen dat het bedrijf recent de 3DFabric Memory Alliance heeft opgestart, waardoor de samenwerking tussen TSMC en geheugenfabrikanten verbeterd zouden moeten worden. Op dit moment zorgt deze alliantie ervoor dat de huidige HBM3(E) werkt in combinatie met CoWoS-packaging, 12-Hi HBM3(E)-packages compatibel zijn met meer geavanceerde packages, UCIe voor HBM PHY, en bufferloos HBM-technologie.
Bron: Anandtech
