随着大模型参数量突破万亿级别，AI加速器正面临前所未有的内存带宽与散热双重挑战。传统HBM（高带宽内存）通过多层DRAM垂直堆叠实现高密度互联，但堆叠层数增加带来的热失控和信号完整性瓶颈已逼近物理极限。在6月召开的IEEE/JSAP超大规模集成电路技术研讨会上，韩国蔚山国立科学技术院（UNIST）和日本东京大学分别提出了V-Die与MOSAIC两种颠覆性方案，将DRAM芯片从“向上堆叠”改为“侧立放置”，彻底重塑了AI加速器的内存架构。这一科技趋势标志着内存技术正从“堆叠密度竞赛”转向“三维异构集成”，为AI技术持续突破扫清了关键障碍。本文将从技术原理、性能实测、散热革新、可制造性等维度深度解析这两项创新，并探讨其对科技产品生态的潜在影响。
V-Die：竖直堆叠的革命性设计
V-Die方案的核心理念是将DRAM Die从传统水平堆叠改为竖直侧立，如同将一本书从平放改为竖插在书架上。这一改变直接取消了TSV（硅通孔）——传统HBM中用于垂直连接各层DRAM的硅穿孔，转而采用每片裸片底边的I/O端口进行互联。研究团队在相邻裸片之间预留了微流体冷却通道，使液冷介质能够直接穿透堆叠体内部，实现高效散热。
从物理结构看，V-Die的底边连接间距仅为20微米，这意味着单位面积内的I/O数量可以达到HBM4的4倍。更密集的互联通道意味着更宽的数据总线，在相同时钟频率下，理论带宽提升幅度惊人。此外，由于取消了TSV，信号路径长度大幅缩短，内存读取时间降低了37%。对于AI推理任务而言，更低的读取延迟意味着每个token的生成速度更快，整体吞吐量自然水涨船高。
值得注意的是，V-Die的设计并非简单地将DRAM旋转90度。它需要重新设计裸片的I/O布局、封装基板走线以及冷却系统的集成方式。UNIST团队在仿真中使用了与NVIDIA H100级别硬件匹配的16层堆叠模型，结果显示首Token时延降低了32%，约24毫秒。这一数据对于实时交互式AI应用（如聊天机器人、AI画图生成）至关重要，因为用户感知的响应速度将直接提升。
540 tokens/s：性能数据的深度解读
在GPT-3规模的工作负载下，V-Die方案实现了540 tokens/s的吞吐量，而同等容量配置的HBM4仅为296 tokens/s，性能提升高达82.43%。这一数字并非简单的“快了一倍”，它背后隐藏着AI内存带宽与计算效率的复杂博弈。
首先，tokens/s是衡量大语言模型推理性能的关键指标，它直接关联到每秒能生成的单词或子词数量。在自回归生成过程中，每个token的生成都需要从内存中读取模型参数和键值缓存（KV Cache）。V-Die通过更宽的I/O总线和更低的读取延迟，让GPU或其他AI加速器能够以更快的速度获取数据，从而减少计算单元的空闲等待时间。
其次，这一性能提升是在与HBM4等容量对比下实现的。HBM4本身已经是当前最先进的内存标准之一，采用2048位宽接口和每引脚6.4 Gbps的数据速率，带宽可达1.6 TB/s以上。V-Die能在同等容量下超越它，说明其底层架构效率更高。研究团队指出，V-Die的底边连接数量可达HBM4的4倍，即使单个引脚速率略低，总带宽仍能大幅领先。
对于AI技术开发者而言，这意味着未来在部署GPT-3级别的模型时，可以使用更少的加速器卡或更低的功耗达到相同的推理速度。例如，一个需要8张HBM4 GPU才能支撑的在线服务，可能只需4张V-Die GPU就能完成，从而降低硬件成本与数据中心能耗。这一科技趋势预计将加速大模型在边缘设备或中小型企业的落地。
MOSAIC：可制造性与性能的双重突破
如果说V-Die侧重于性能极限，那么东京大学主导的MOSAIC方案则更关注“如何造出来”。MOSAIC（Memory-on-Substrate with Advanced Interconnect and Cooling）的核心创新在于用正交裸片堆叠和无接触互连技术，解决了侧立DRAM在制造过程中的对准难题。
传统HBM堆叠需要精确的TSV对准和微凸点焊接，层数越高，良率越低。MOSAIC方案采用微型感应线圈替代金属信号接触，裸片之间通过电磁感应耦合传输数据，无需严格的物理接触。这意味着堆叠时即使存在微米级的偏移，仍能正常工作。研究人员展示了原型系统，在DRAM-on-GPU结构中实现了4 Gbps/通道的接口速率，并且容量达到HBM4级的两倍。
另一组配套的bump-MOSAIC硬件演示在ECTC会议上公开，采用100微米间距的微凸点进行物理连接，并通过X射线CT验证了堆叠对准误差控制在6微米以内。更重要的是，该配置的热导率达到传统堆叠的3倍，同时还能额外增加最高30%的内存容量。热导率的提升源于侧立结构带来的更大散热表面积，以及微流体通道的直接嵌入。
从制造工艺角度看，MOSAIC方案降低了封装难度，提高了良率，这对于大规模量产至关重要。目前三星、SK海力士等内存巨头正在积极推进HBM4的商用化，但堆叠层数超过12层后散热问题日益严峻。MOSAIC的思路可能为下一代HBM标准提供工程化的解决方案。
散热革命：从“烤炉”到“恒温机”
AI加速器在运行大模型训练时，HBM内存的温度常常飙升至80°C以上，甚至超过100°C，导致性能降频甚至损坏。传统风冷或间接液冷难以穿透密集的DRAM堆叠，热量会在内部积聚。V-Die方案通过引入微流体冷却通道，将液冷介质直接送入每层裸片之间，实现了“体内降温”。
仿真数据显示，在16层堆叠场景下，微流体冷却可将堆叠温度维持在约45°C，远低于高密度HBM系统常见的80°C以上区间。这不仅是数字上的改变，更意味着AI加速器可以持续运行在最高频率，无需动态降频。同时，低温环境能降低DRAM的漏电流，提高数据保持稳定性，减少ECC纠错开销。
对于科技产品而言，散热能力的提升直接带来更小的散热模组体积和更低的噪音。例如，未来AI服务器可能不再需要巨大的风扇阵列或复杂的冷水机组，而是采用更紧凑的液冷回路。这一趋势与AI工具导航中的高效散热方案遥相呼应，许多初创企业正在探索将类似技术用于消费级AI显卡。
此外，低温运行还能延长内存寿命。传统HBM由于长期在高温下工作，DRAM细胞的退化速度加快，数据中心通常需要3-5年更换一次内存模块。V-Die方案有望将这一周期延长至7-10年，显著降低TCO（总拥有成本）。
未来展望：AI内存的下一站
V-Die和MOSAIC方案的提出，标志着内存技术正从“2D堆叠”向“3D异构集成”进化。未来，AI加速器可能不再需要独立的HBM模块，而是将DRAM直接集成在GPU或AI芯片的同一封装中，甚至通过硅桥或中介层实现更紧密的耦合。这一科技趋势将深刻影响AI技术的演进路径：
首先，大模型的部署门槛将进一步降低。当内存带宽不再是瓶颈时，单张GPU可以运行更大规模的模型，或者以更低的延迟处理相同模型。这对于实时交互式AI应用（如AI对话、AI图片生成、文生图创作）至关重要。例如，一款基于V-Die的AI加速器，可能让用户在使用AI画图工具时，生成一张4K分辨率图片的时间从10秒缩短到3秒以内。
其次，内存架构的变革将催生新的AI芯片设计范式。传统的冯·诺依曼瓶颈（CPU/GPU与内存之间的数据搬运延迟）在侧立DRAM方案下被大幅缓解，计算单元可以更接近数据存储位置。这为“存算一体”架构的落地铺平了道路，未来AI芯片可能将部分计算逻辑直接嵌入内存堆叠中。
最后，散热技术的突破将推动数据中心基础设施的绿色升级。微流体冷却不仅适用于HBM，还可用于CPU、GPU甚至功率模块，整个数据中心的能耗有望降低30%以上。结合大模型训练的优化技巧，AI训练成本有望进一步下降，让更多中小企业能够负担得起自研大模型。
当然，这些方案目前仍处于学术研究阶段，距离量产还有工艺成熟度、成本、可靠性验证等挑战。但可以预见，在2025-2027年间，会有更多厂商沿着V-Die和MOSAIC的思路推出商用化产品。作为科技媒体，我们建议关注内存封装、液冷散热领域的投资机会，以及企业数字化转型中这些技术带来的算力升级。