随着人工智能（AI）、机器学习（ML）和高性能计算（HPC）应用的快速发展，对于高效能、大容量且低延迟内存的需求日益增长。NVIDIA在其GB系列GPU中引入了不同的内存模块设计，以满足这些严格的要求。
此前，当从H100升级到H200时，由于后者提供了更高的内存带宽（4.8TB/s对比H100的3.35TB/s），所有可比较的批处理大小上的交互性普遍提高了43%。得益于KVCache对总批处理大小的限制减少，H200能够以更高的批处理速度运行，从而每秒生成三倍数量的token。这使得整体运营成本降低了约三倍，远超出了单纯硬件规格所能带来的预期收益。
随着NVIDIA推出GB300 GPU，其供应链和提供的组件发生了重大变化。此前，针对GB200，NVIDIA提供了完整的Bianca板（包括Blackwell GPU、Grace CPU、512GB的LPDDR5X内存、VRM内容等集成在一个PCB上），以及交换托盘和铜背板。然而，对于GB300，NVIDIA采取了不同的策略，仅提供核心组件，并允许更多原始设备制造商（OEM）和原始设计制造商（ODM）参与计算模块的制造。
NVIDIA将只提供B300 GPU作为“SXM Puck”模块，而不是整个Bianca板。这种转变使得更多的OEM和ODM能够参与到计算模块的生产中来。Grace CPU将以BGA封装形式单独提供，不再集成在Bianca板上。高带宽内存（HBM）控制器（HMC）将由美国初创公司Axiado提供，取代了GB200上的Aspeed产品。
在GB200时代，NVIDIA选择了直接焊接在Bianca板上的512GB LPDDR5X作为主存方案。GB300，然而，在GB300的设计中，为了提高灵活性并降低成本，NVIDIA决定二级内存采用可插拔式的LPCAMM模块来替代传统的焊接内存，这一变化不仅简化了制造过程，还允许用户根据具体需求灵活配置内存容量和类型。
面对数据中心空间有限以及对更高密度内存解决方案的需求，NVIDIA提出了全新的SOCAMM（Space-Optimized CAMM）概念。SOCAMM旨在通过紧凑的设计实现最大化的存储容量，同时保持优异的性能表现。它特别适用于那些需要在有限的空间内部署大量计算资源的应用场景，如超大规模数据中心、边缘计算节点等。
近日，美光（Micron）与 SK 海力士（SK hynix）在存储技术领域迈出了重要一步，推出了新型的 LPDDR5X SOCAMM 内存，最高容量可达 128GB，并首次在英伟达（Nvidia）的 GB300 系统中亮相。这一创新成果为人工智能（AI）和低功耗服务器领域带来了全新的解决方案，有望重塑相关行业的内存应用格局。
SOCAMM，其尺寸仅为14x90mm，约为传统RDIMM的三分之一 。然而，“小身材”却蕴含着“大能量”，它最多可承载四个16芯片的LPDDR5X内存堆栈。美光的初始SOCAMM模块就提供了高达128GB的容量，这一容量规格在当前的内存市场中具备很强的竞争力，能够满足AI和低功耗服务器对大容量内存的需求。
美光的SOCAMM模块基于其1β（1-beta，第五代10nm级）DRAM工艺技术生产的LPDDR5X内存设备打造。虽然美光并未透露其初始SOCAMM内存棒具体支持的数据传输速率，但表明该内存的额定速度高达9.6 GT/s。
而SK海力士在GTC 2025上展示的SOCAMM额定速度也达到了7.5 GT/s。与相同容量的RDIMM相比，LPDDR5X SOCAMM的带宽提升了2.5倍 ，这意味着数据能够以更快的速度在内存与处理器之间传输，大大提高了系统的数据处理能力，对于AI计算中大量数据的快速读写操作极为有利。
在服务器运行过程中，内存的功耗是一个不可忽视的问题。以配备每插槽TB级DDR5内存的服务器为例，其中DRAM的功耗甚至超过了CPU的功耗 。英伟达围绕LPDDR5X内存设计了Grace CPU，正是看中了LPDDR5X相较于DDR5更低的功耗特性。美光宣称，其128GB的SOCAMM内存功耗仅为同等容量DDR5 RDIMM的三分之一 。低功耗不仅有助于降低服务器的运营成本，还能减少数据中心的散热压力，对于追求绿色节能的数据中心而言，具有重要的意义。
此次推出的LPDDR5X SOCAMM内存将首先应用于基于英伟达GB300 Grace Blackwell Ultra Superchip系统的服务器。
在AI领域，无论是训练还是推理应用，都需要处理海量的数据，这对内存的性能和容量提出了严苛的要求。例如，在AI训练过程中，深度学习模型需要频繁读取和存储大量的参数和数据，高带宽、大容量的内存能够显著加速数据的传输和处理，缩短训练时间。而在推理应用中，如智能语音助手、图像识别系统等，快速的内存响应速度可以使系统更及时地给出准确的结果。
LPDDR5X SOCAMM内存的出现，为英伟达GB300系统在AI计算方面提供了强大的内存支持，有助于进一步挖掘AI的潜力，推动相关应用的发展。
随着云计算和数据中心的发展，低功耗服务器的需求日益增长。低功耗服务器不仅可以降低运营成本，还能减少对环境的影响。LPDDR5X SOCAMM内存凭借其低功耗、高容量和高性能的特点，成为低功耗服务器的理想选择。它能够在保证服务器性能的前提下，有效降低能耗，提升服务器的能效比。这对于构建绿色、高效的数据中心具有重要意义，有助于数据中心运营商在控制成本的同时，满足不断增长的数据处理需求。
尽管LPDDR5X SOCAMM内存展现出了诸多优势，但目前仍存在一些不确定性。例如，SOCAMM是否会成为JEDEC（固态技术协会）支持的行业标准尚未可知。如果能成为行业标准，将有利于其更广泛地推广和应用，促进整个行业的规范化发展；反之，若仅作为美光、三星、SK海力士和英伟达为特定服务器开发的专有解决方案，其应用范围可能会受到一定限制 。但无论如何，LPDDR5X SOCAMM内存的出现都为存储技术的发展注入了新的活力，值得业界持续关注。
如果您看完有所受益，欢迎点击文章底部左下角“关注”并点击“分享”、“在看”，非常感谢！
精彩推荐:
-
深度解读PCIe相关内存操作原理
-
基于CXL内存的热数据检测技术解读
-
学术前沿｜专为CXL SSD设计的文件系统
-
2025伊始，PCIe 7.0的脚步更近了
-
存储随笔2024年度技术分享总结
-
浅析下一代NAND接口新特性SCA
-
2025年CXL强势启航：开启内存扩展新时代
-
PCIe SSD在温变环境的稳健性技术剖析
-
DWPD指标：为何不再适用于大容量SSD？
-
突破内存墙：DRAM的过去、现在与未来
-
E1.S接口如何解决SSD过热问题？
-
ZNS SSD是不是持久缓存的理想选择？
-
存储正式迈入超大容量SSD时代！
-
FMS 2024: 带来哪些存储技术亮点？
-
IEEE报告解读：存储技术发展趋势分析
-
PCIe P2P DMA全景解读
-
深度解读NVMe计算存储协议
-
浅析不同NAND架构的差异与影响
-
浅析PCI配置空间
-
浅析PCIe系统性能
-
存储随笔《NVMe专题》大合集及PDF版正式发布！
