直达期货

近年来，在AI高算力需求推动下，HBM正在大放异彩。

尤其是进入2023年后，以ChatGPT为代表的天生式AI市场的疯狂扩张，在让AI服务器需求迅速增添的同时，也动员了HBM高阶存储产物的销售上扬。

TrendForce数据显示，2023年全球搭载HBM总容量将达2.9亿GB，同比增进近60%，预计2024年还将再增进30%。SK海力士展望，HBM市场到2027年将泛起82%的复合年增进率。

在此生长势头下，作为AI芯片的主流解决方案，HBM受到了存储巨头的高度重视。自2014年SK海力士首次乐成研发HBM以来，三星、美光等存储巨头也纷纷入局，睁开了HBM的升级竞赛，现在HBM已从*代HBM升级至第四代HBM3，产物带宽和最高数据传输速率纪录被不停刷新。下一代HBM3E超带宽心决方案也已在样品测试阶段，HBM4也被提上议程。

HBM生长历程

借助AI东风，HBM需求水涨船高，三大原厂纷纷推动HBM新代际产物开发与产线扩张。与此同时，台积电也宣布将CoWoS产能扩大两倍，以期更好地支持水涨船高的HBM需求。

克日，英伟达H200的推出有望再次掀起HBM结构浪潮，未来在AI大模子日趋庞大化的趋势下，随着存储巨头的延续发力，产业链上下游企业也将慎密部署，HBM的影响力将逐步扩大并带来全新时机。

本文，将围绕HBM生长历程中的一个细分环节——硅中介层（Si-Interposer），来详述其价值、瓶颈以及未来的手艺走向。

01 硅中介层，挑战重重

谈到硅中介层，我们需要先来领会一下HBM的结构。

与传统DDR存储器差异，HBM使用硅通孔手艺（TSV）和微凸块（ubump）垂直堆叠多个DRAM芯片，并通过封装基板内的硅中介层与GPU、CPU或ASIC直接相连，从而具备高带宽、高容量、低延时与低功耗等优势，相同功耗下其带宽是DDR5的三倍以上。

因此，HBM突破了内存瓶颈，成为当前AI GPU存储单元的理想方案和要害部件。

HBM架构示意图

HBM是一种尺度化的客栈储存手艺，可为客栈内部，以及内存与逻辑组件之间的数据提供高带宽信道。HBM封装将内存裸晶客栈起来，并透过TSV将它们毗邻在一起，从而确立更多的I/O和带宽。

从上图可以看到，这个硅中介层可以明晰为一块周详的电路芯片，内里部署了麋集的电信号传输通道，用于辅助芯片、封装基板举行电性能互连，实现芯片与芯片，芯片与封装基板之间的信息交流，可以用于提高芯片的性能和带宽，以及使芯片加倍紧凑，从而削减了信号传输的延迟和功耗。

总体来看，硅中介层是一种经由验证的手艺，具有较高的细间距I/O密度和TSV形成能力，在2.5D IC芯片封装中饰演着要害角色。

硅中介层有两种手艺蹊径，代表划分是台积电的CoWoS和英特尔的EMIB。

台积电CoWoS-S通过硅中介层承载处置器和HBM，处置器和若干HBM的投影面积决议了硅中介层的巨细，而中介层的面积受限于光刻掩膜尺寸，会限制HBM的使用数目。

这就成为了早期HBM应用的瓶颈——需要HBM的往往是高性能的大芯片，而大芯片的规模自己就已经迫近了掩膜尺寸极限，给HBM留下的面积异常有限。对此，台积电相继攻克了多重难题突破了中介层尺寸的限制，单芯片内部逐渐可封装4颗、6颗，甚至12颗HBM。

硅中介层的面积云云生长，在解决尺寸限制的同时，也带来了新的挑战，即成本越来越高。以8GB HBM2为例，其成本约175美元，其中硅中介层成本约25美元，而同时期的8GB GDDR5仅需52美元，在没有思量封测的情形下，HBM成本已经是GDDR的三倍左右。

尤其是随着HBM的演进，中介层面积越来越大，要包罗所有的Die，大大增添成本。此外，中介层是有半导体工艺制作，成本不低，且很难做很大面积。

为了降低中介层的成本和尺寸，英特尔发现了EMIB，将die-die的互连用“硅桥（Si Bridge）”实现，且硅桥嵌入在基板内部，die-substarte的毗邻通过传统方式实现。这种做法可以大大降低硅中介层的面积，削减成本，减轻多die封装的限制。

英特尔EMIB架构图

值得注重的是，EMIB通过异常小的凸点间距提供高互连密度，从而允许芯片之间具有更高的带宽，而且由于走线长度较短，因此比使用有机基板具有更低的功耗。它类似于微型硅中介层，仅笼罩小芯片之间需要毗邻的区域。

然则，只管EMIB充实行使了硅中介层和有机载板的手艺特点和电气特征，但也存在组装成本高的瑕玷，由于需要在有机载板中镶嵌，增添了工艺庞漂亮，限制了载板的选择。

因此，为了进一步降低成本，行业厂商最先研究弃用硅中介层的手艺和方式。

SK海力士：直接在处置器上堆叠HBM4

据报道，SK海力士最先招聘CPU和GPU等逻辑半导体设计职员，希望直接在处置器上堆叠HBM4，这不仅将改变逻辑芯片和内存的典型互连方式，还将改变其制造方式。

现在，HBM客栈集成了8个、12个或16个存储器件，以及一个像集线器一样的逻辑层。HBM客栈被放置在CPU或GPU旁的中央件上，并通过1024位接口与处置器相连。SK海力士的目的是将HBM4客栈直接放在处置器上，完全省去中介层。

据悉，SK海力士正在与包罗Nvidia 在内的几家公司讨论其HBM4集成设计方式。SK海力士和Nvidia很有可能从一最先就团结设计芯片，并在台积电生产，台积电还将使用晶圆键合手艺把SK海力士的HBM4安装到逻辑芯片上。为了使内存和逻辑半导体在统一芯片上作为一个整体事情，团结设计是不能制止的。

台积电现在也有像SoIC等更高级的3D封装工艺，确实可以将更好的将显存堆叠到芯片之上，就像AMD的3D V-Cache处置器就是用到了这种工艺，不外该处置器*的问题就是发烧，尚有良率以及成本等因素，现在还不太适用于HBM显存。

据业内人士示意，直接毗邻存储器和逻辑芯片在经济上是可行的。不外，虽然将HBM4客栈直接放在逻辑芯片上可以在一定水平上简化芯片设计并降低成本，但这也带来了另一个挑战——散热。

散热自己就是HBM耐久存在的挑战之一，HBM的2.5D封装结构会集聚热量，而靠近CPU和GPU的结构又会进一步增添热量。以Nvidia的H100处置器为例，其消耗数百瓦的功率，并耗散数百瓦的热能，且HBM内存也相当耗电。

现在来看，若是发烧问题能够获得解决，HBM的“游戏规则”可能会发生转变，存储器和逻辑半导体之间的毗邻可能会变得像一体机一样运行，而无需中央件。

三星：将HBM存储与芯片封装解耦

谁抢走了传统零食店的生意？

三星方面也以为，随着封装变得越来越大，带来了装配和可靠性等多方面的挑战。为此，三星通过提供一个在logic die上堆叠DRAM die的方式，将功耗效率提升了40%，并将延迟降低了10%。

在另一种方案中，三星将Cash DRAM堆叠在logic die上，使得功耗效率提升了60%，延迟则降低了50%。在三星看来，这是一个更好的、面向未来解决方案。

展望未来，三星方面进一步指出，光互连将施展主要作用。

在使用光学I/O后，将获得异常高的带宽密度；与此同时，这种解决方案还能带来异常低的功耗。在三星看来，光学I/O将逻辑封装和存储封装毗邻到一起。

同时，该手艺还能将HBM存储与芯片封装完全解耦，将HBM模组从芯片本体星散出来，并通过光学手艺与逻辑处置单元相连。这样就不必处置中介层带来的芯片封装庞大性，且这种方式简化了HBM和逻辑单元的芯片制造与封装成本，而且制止了庞大的数字到光学信号内部转换。

随着全球存储巨头的深度介入，上述挑战或将获得解决，HBM市场的鏖战也会愈演愈烈。

除了存储原厂之外，台积电等厂商也正在通过研发差异类型的中介层，或是接纳差其余质料来实现成本节降。

以台积电为例，台积电正在不停实验降低下一代HBM的成本，宣布拥有多种差异类型的中介层：除了硅中介层外，尚有RDL中介层，以及其他试图脱节中介层的手艺探索。

好比CoWoS-R、CoWoS-L等，前者将硅中介层换做有机RDL，能够降低成本，不外劣势是牺牲了I/O密度；后者是台积电专门针对AI训练芯片设计的，连系了台积电CoWoS-S和信息手艺的优点，预计晚些时刻才气应用。

图源：TSMC官网

此外，集成扇出封装手艺（INFO）也正在思量集成HBM，作为硅中介层的经济替换方案等等...。Cadence IP团队产物营销总监Marc Greenberg示意，若是行业能够群集在一起并决议一个适用于尺度封装的内存尺度，那么就有可能提供与HBM类似的带宽，且成本要低得多。

可见，弃用硅中介层或进一步降低成本正在成为HBM未来新的手艺创新蹊径。成本因素之外，HBM干掉硅中介层还可以减小传输路径、提升传输速率，体积也会加倍小。

02 Chiplet也要干掉中介层

在HBM弃用硅中介层的迹象之外，Chiplet也正在举行此方面的探索（着实某种水平上，HBM就是Chiplet的一种类型）。

迄今为止，业界*的Chiplet互连需要先进封装和昂贵的硅中介层。而Eliyan公司验证了他们在高性能Chiplet互连方面的突破。

笔者在此前文章中对此有过详细先容。

Eliyan依附其Nulink手艺，可以为die-to-die互联在种种封装衬底上提供功耗、性能和成本的优势方案。由于这种PHY接口可以让差其余裸片直接在有机衬底上实现高速互联，而不必接纳CoWoS、EMIB或硅中介层等昂贵的先进封装方式，在降低成本的同时加速产物制造周期。

从上图可看到，左边是当今常见的使用硅中介层的Chiplet互连方式；右边是Eliyan的NuLink手艺，可以以*的带宽实现小芯片互连，而无需硅中介层。

可见，NuLink通过简化系统设计降低了系统成本。更主要的是，Eliyan可以增添芯片之间的距离，对于天生式AI，NuLink为每个ASIC提供更多的HBM内存，从而提高了配备HBM的GPU和ASIC的内存麋集型应用程序的性能。

接纳硅中介层的传统Chiplet解决方案与接纳有机基板的Eliyan Nulink

Eliyan还展示了其NuLink PHY的*个事情芯片，该芯片接纳5nm尺度制造工艺实现，可以让Chiplet与差异工艺的裸片实现混搭，不需要硅中介层等先进封装手艺。

NuGear消除了对大型硅中介层的需求

Eliyan指出：“现在业内的一大需求是能够获得足够大的中介层，这样就可以构建越来越大的GPU或TPU，并带有大内存。”

这照样在抛开成本因素的考量下，而Nulink有机基板的尺寸可以到达硅中介层的三四倍，同时提供相同或更好的功率效率和带宽。这导致成本更低、制造速率更快，每个封装的盘算能力更强。

与此同时，NuLink还为HBM DRAM提供*的散热性能，消除了HBM-ASIC之间的热串扰，允许ASIC时钟速率提高20%，以及更简朴/低成本的冷却。

测试和产量是另一个优势。传统硅中介层需要使用微凸块将小芯片毗邻到中介层引线，微凸块限制了对晶圆举行周全测试的能力，使良率面临风险。

对此，Nulink对有机基板的使用通过允许使用具有尺度尺寸凸块的小芯片来缓解这个问题，这可以更有用地举行测试。因此，可以将芯片良率从60%提高到90%左右。

总结来看， Eliyan消除了对先进封装的需求，例如Chiplet设计中的硅中介层尺寸有限、制品率低、成本高、难以冷却、供应链有限、测试等所有相关限制和庞大性。NuLink手艺能够实现DRAM扩展、节约质料成本、提高产量并缩短芯片上市时间等优势。

Eliyan以为，其Chiplet互连产物可以逾越英特尔和台积电等芯片巨头的先进封装手艺，或者有望成为英特尔、台积电的*选择，从而实现下一波高性能芯片架构。NVIDIA、Intel、AMD和Google等公司可以授权NuLink IP，或从Eliyan购置NuGear小芯片，以消除硅中介层尺寸限制带来的性能瓶颈，使他们能够实现更高性能的AI和HPC SoC。

但任何手艺都有两面性，并非提供完全的优势。例如，Eliyan新手艺可以把Chiplet从2.5D的封装要求切换到2D上，但一定需要增大线速来换取更低的线密度需求。但速率的增添对于PHY的设计会引入显著的分外延时和能耗。

03 写在最后

总的来说，无论是HBM、Chiplet异构集成，照样裸片堆叠，这些先进封装手艺正逐步解决传统芯片缩放遇到的难题，同时也为未来的芯片设计提供了更多的天真性和高效性。

同时随着互连手艺的演进，预计将进一步促进HBM或Chilet封装手艺的提高，为行业带来更低功耗、更高性能以及更低成本的解决方案。

无论是哪种手艺，都各有优劣，也永远面临新的瓶颈和挑战，需要凭证现实需求来举行设计和选择。但万变不离其宗，延续提升性能、降低成本，无疑是行业生长*的“必杀技”。