中存储网消息,近日,存储公司VAST Data宣布了其下一代存储架构的可用性,该架构旨在消除存储规模,性能和效率的平衡,以帮助组织利用存储的力量。人工智能在机器智能时代发展其数据议程。这个被称为LightSpeed的新概念将VAST的简单NAS设备体验的轻松触觉与领先的性能相结合,可用于基于NVIDIA GPU和基于AI处理器的计算,从而消除了扩大AI基础架构的猜测和配置。
LightSpeed是产品和概念,旨在解决系统架构师在设计下一代AI基础架构时面临的所有存储部署方面,其中包括:
HDD Economics的闪存消除了分层: VAST的分布式,共享的一切(DASE)存储架构的发明是为了打破性能,容量和规模上的障碍–革命性的闪存经济学最终使为客户的所有培训数据提供闪存成为可能。通过消除存储分层,艾字节级的DASE集群体系结构可确保实时处理每个I / O请求,从而消除了训练处理器的存储瓶颈。
2倍更快的AI存储硬件平台: 与上一代VAST硬件相比,VAST的新型LightSpeed NVMe存储机柜提供2倍的AI吞吐量。这使该系统非常适合读取繁重的I / O工作负载,例如现代深度学习框架中发现的那些工作负载,例如计算机视觉(PyTorch,TensorFlow等),自然语言处理(BERT),大数据(Apache Spark),基因组学(NVIDIA Clara?Parabricks)等。LightSpeed机箱可帮助客户使用更少的硬件来提高计算能力。
NFS对NVIDIA GPUDirect Storage的 支持: VAST通过NVIDIA GPUDirect Storage技术(目前处于测试阶段)支持同类最佳的性能。GPUDirect使运行NVIDIA GPU的客户能够通过完全避免使用CPU和CPU内存来加速对数据的访问,并避免在存储设备与GPU之间进行额外的数据复制。在最初的测试中,VAST通过单个NVIDIA DGX-2客户端展示了超过90GB / s的峰值读取吞吐量,是VAST的NFS-over-RDMA的性能的近3倍,和标准的基于TCP的NFS的性能的近50倍。通过消除所有瓶颈,VAST和NVIDIA为使用行业标准NFS文件系统的GPU高效计算铺平了道路。
此外,该公司还宣布了LightSpeed集群配置,使客户和合作伙伴可以轻松地平衡其GPU集群规模与容量和性能丰富的存储之间的平衡:
生产线: 2个LightSpeed节点配对80GB / s的存储带宽,最多可支持32个GPU
五角大楼: 5个LightSpeed节点配对200GB / s的存储带宽,最多可支持80个GPU
The Decagon: 10个LightSpeed节点可配对400GB / s的存储带宽,最多可容纳160个GPU
VAST Data联合创始人兼CMO Jeff Denworth说:“如今,VAST放弃了挑战,宣称客户在制定AI基础架构策略时不再需要在简单性,速度和成本之间进行选择。” “让数据科学家通过始终向其AI系统实时提供训练和推理数据来与数据共舞。LightSpeed的概念很简单:没有HPC的存储混乱,没有预算的麻烦,而性能仅受您的野心限制。”
NVIDIA DGX Systems副总裁兼总经理Charlie Boyle说:“在AI规模上,效率对于应用程序性能至关重要,因此避免在计算和存储系统之间进行任何不必要的数据复制至关重要。” “ VAST Data在新的LightSpeed平台中集成了GPUDirect Storage,提供了分布式NFS存储设备,可满足AI工作负载的强烈需求。”
客户采用
在与NVIDIA合作日益紧密的基础上,VAST被众多采用AI使其应用环境现代化的行业领先客户所选择,包括在Athinoula A. Martinos生物医学成像中心以及与美国能源部。借助VAST突破性的闪存经济性,Martinos中心已开始向全闪存通用存储的战略转变,以帮助跨大量MRI和PET扫描数据加速图像分析,同时消除以前基于硬盘的存储系统所面临的正常运行时间挑战。
“ VAST提供了一个全闪存解决方案,其成本不仅使我们能够升级到全闪存并消除了我们的存储层,而且还为我们节省了足够的钱来支付更多GPU来加速我们的研究。这种结合使我们能够探索新的深度学习技术,这些技术在当今和未来几年都将释放出对图像重建,图像分析和图像分割的宝贵见解。” Martinos中心执行总监Bruce Rosen说道。
声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。