该解决方案利用 CXL 内存的智能分层，通过从 GPU HBM 卸载到 CXL 内存来提高大型语言模型 （LLM） 的性能。
作为 AI 优先大内存软件的领导者，MemVerge 与美光联手推出了一项突破性的解决方案，该解决方案利用 CXL 内存的智能分层，通过从 GPU HBM 卸载到 CXL 内存来提高大型语言模型 （LLM） 的性能。这项创新合作将在 GTC 的美光展位 #1030 展出，与会者可以亲眼目睹分层内存对 AI 工作负载的变革性影响。
MemVerge 首席执行官兼联合创始人 Charles Fan 强调了克服 HBM 产能瓶颈的至关重要性。“经济高效地扩展 LLM 性能意味着让 GPU 获得数据，”Fan 说。“我们在 GTC 上的演示表明，分层内存池不仅可以提高性能，还可以最大限度地利用宝贵的 GPU 资源。”
该演示由 MemVerge 和美光的工程师进行，采用了 FlexGen 高吞吐量生成引擎和 OPT-66B 大型语言模型，该模型在配备 AMD Genoa CPU、Nvidia A10 GPU、Micron DDR5-4800 DIMM、CZ120 CXL 内存模块和 MemVerge Memory Machine X 智能分层软件的 Supermicro 千万亿次级服务器上运行。
演示的结果令人印象深刻。与传统的 NVMe 存储方法相比，利用分层内存的 FlexGen 基准测试在不到一半的时间内完成任务。同时，GPU 利用率从 51.8% 飙升至 91.8%，这要归功于 MemVerge Memory Machine X 软件促进的跨 DIMM 和 CXL 模块的数据分层的透明管理。
MemVerge、美光和 Supermicro 之间的合作标志着在提升 AI 工作负载能力方面的一个重要里程碑，使组织能够实现前所未有的性能、效率和洞察时间水平。通过利用 CXL 内存和智能分层的强大功能，企业可以释放新的创新机会，并加速实现 AI 驱动的成功之旅。
通过与 MemVerge 的合作，美光能够展示 CXL 内存模块在提高 AI 应用的有效 GPU 吞吐量方面的巨大优势，从而更快地为客户提供见解。美光在内存产品组合中的创新为计算提供了必要的内存容量和带宽，以将 AI 用例从云扩展到边缘，“美光高级副总裁兼计算和网络业务部总经理 Raj Narasimhan 说。
关于MemVerge
MemVerge是大内存计算软件的先驱开发商。在云端或本地，数据密集型工作负载运行速度更快，成本更低，并且借助该公司屡获殊荣的 Memory Machine 产品自动恢复。Memory Machine X 有望彻底改变未来 CXL 内存的使用方式，而 Memory Machine Cloud 则凭借其不断调整云成本和性能的能力脱颖而出。
声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。
