这款名为Neocortex的新机器将两台Cerebras CS-1 AI服务器与共享内存的HPE Superdome Flex服务器结合在一起。
匹兹堡超级计算中心（PSC –卡内基·梅隆大学和匹兹堡大学的联合研究组织）将从美国国家科学基金会获得500万美元的资金，用于建造AI超级计算机，旨在加速AI研究以追求科学，发现和社会福祉。这款名为Neocortex的新机器将两台Cerebras CS-1 AI服务器与共享内存的HPE Superdome Flex服务器结合在一起。PSC将于今年晚些时候向Neoscience和Engineering Discovery Environment（XSEDE）的研究人员提供Neocortex 。
每个Cerebras CS-1均由一个Cerebras晶圆级引擎（WSE）处理器提供动力，该处理器包含400,000个AI优化内核，这些内核在46,225平方毫米晶圆上实现，具有1.2万亿个晶体管。前端HPE Superdome Flex服务器将处理流入和流出WSE处理器的数据的预处理和后处理。HPE Superdome Flex配备了32个Intel Xeon CPU，24 TB内存，205 TB闪存和24个网络接口卡。
Superdome Flex通过12 100个千兆以太网链路连接到每台CS-1服务器，从而在机器之间提供每秒1.2 TB的带宽。匹兹堡超级计算中心首席科学家尼克·尼斯特罗姆（Nick Nystrom）说，这一带宽足以每秒传输37部高清电影。Neocortex团队正在考虑在单个交换机上实施该网络，以探索允许两个CS-1直接以每秒1.2 TB的速度进行接口。
根据Nystrom的计算，CS-1中的WSE处理器提供每秒9 PB的片上内存带宽，相当于每秒约一百万高清电影。
Neocortex（以负责高阶大脑功能（包括语言处理）的大脑区域命名）是由NSF资助的首个CS-1装置，也是首个公开宣布的CS-1集群。其他宣布的 CS-1部署只有在能源部，Argonne国家实验室和Lawrence Livermore国家实验室的单节点系统。Cerebras于去年8月在Hot Chips首次展示了其Wafer Scale Engine，该系统于11月在SC19上首次亮相。
Nystrom在描述技术合作的动力时说，PSC看到了将两个世界中最好的结合在一起的机会–“服务器CS-1的极强深度学习能力，以及Superdome Flex与HPE的极致共享内存。 ”
“有了共享内存，您不必在很多节点上都解决问题。您不必编写MPI，也不必分发数据结构。一切都在高速之中。”他补充说。
Cerebras和PSC都表达了他们的期望，即该系统将能够解决一类新的问题，而这是传统GPU所没有的。
“我们只是在梳理一类新型的AI模型；Cerebras首席执行官Andrew Feldman表示：“我们知道在图形处理单元上很难运行的其他模型，我们非常渴望与开拓者的研究人员合作，向全世界展示这些模型可能具有的功能。他的目标示例列表包括具有可分离卷积的模型或具有自然和诱导稀疏性的模型，包括粗糙和细粒度的，具有不规则稀疏连接的图神经网络，复杂的顺序模型以及需要并行性的超大型模型。
人工智能和大数据PSC首席研究员兼PSC主任Paola Buitrago表示，即使使用目前最先进的PSC机器，例如基于GPU的Bridges和Bridges-AI，研究仍然受到限制。以获得更多计算，快速互连和存储。”
“由于神经网络已在GPU上实现，因此2012年的人工智能开始了这种复兴，” Buitrago在接受HPCwire采访时分享道。“ GPU在矩阵运算方面绝对做得很好，矩阵运算是我们神经网络中的主要运算之一，但它们并非为AI设计的。现在，借助Cerebras技术，我们看到了一款专为AI和深度学习中的潜在优化而设计的机器。我们很高兴探索它如何加快和改变深度学习中正在发生的事情，从而使我们能够探索越来越雄心勃勃的科学并减少好奇心。
Buitrago希望Neocortex的功能比PSC Bridges-AI系统强大几个数量级。Cerebras的Feldman进一步说明了系统的潜力，称带有Cerebras晶圆级内核和“ HPE的预处理机”的调整后的系统集群将具有800-1,500个传统GPU（或“约20个机架”）的功能。只需一个Cerebras机架就可以进行图形处理。”
当然，PSC将逐步推进Neocortex的步伐，以查看这一说法是否成立。PSC的Neocortex小组已经确定了一些对社区很重要的基准。尼斯特罗姆说：“选择这些工具是为了证明该系统落地时的功能，随着时间的流逝，该系统当然会继续成熟。”他补充说，他们将使用所有非常复杂的大型复杂网络来评估该系统。现在具有挑战性，包括LSTM。
尼斯特罗姆说：“除了LSTM，我们希望Neocortex在图形卷积网络方面非常擅长，这在所有科学领域都很重要。” “然后随着时间的推移，跨CNN。因此，我们将在最初使用它们，并吸引早期用户展示其科学影响。这对于美国国家科学基金会非常重要。”
Buitrago说，受当前硬件限制的用户“在很大程度上从事自然语言处理，并与包括BERT和Megatron-LM在内的变压器类型网络一起工作，这些网络的模型很大，具有数亿亿个参数， ”补充说，“这是我们将通过Neocortex系统启用的特定用例。”
项目合作伙伴特别热衷于利用AI来实现社会公益。药物发现，更准确的天气预报，改进的材料以增加太阳能发电以及了解大型植物基因组以提高农作物产量，这只是PSC预计将从Neocortex以及即将推出的Bridges-2系统中受益的几个领域（请参见下面的幻灯片）正确的系统详细信息）。
同样由HPE打造的Neocortex和Bridges-2都将在秋季部署。Nystrom宣称：“我们将在同一季节启动两台超级计算机。” “ PSC从来没有这样做过。”
与Bridges-2一样，Neocortex上90％的时间将通过XSEDE分配。尼斯特罗姆说：“我们将有很长的早期用户期，但行业也可以自由选择与我们合作的能力，可以利用世界上最先进的AI功能来提高其行业竞争力和翻译研究的能力。”
通过美国国家科学基金会（NSF）资助的OpenCompass计划，人们也将集中精力收集和记录大规模运行人工智能的最佳实践，并将这些最佳实践与开放科学社区进行交流。这与PSC的使命相吻合，以支持非传统用户（来自历史，哲学等）和刚刚开始使用AI的用户。
Neocortex将支持最受欢迎的深度学习框架，并将与PSC的新型Bridges-2超级计算机联合，从而创建“一个强大而灵活的生态系统，用于高性能AI，数据分析，建模和仿真。”
Neocortex和Bridges-2都将免费提供用于研究和教育，并且为行业用户提供成本回收率。
PSC将在PEARC（7月26日至30日）上介绍有关AI硬件的教程，并将更多地讨论Neocortex系统以及期望的内容。有关更多详细信息，请参见https://pearc.acm.org/pearc20/。
声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。
