Cerebras发布第三代芯片WSE-3：性能翻倍，助力大模型训练

【HowToTech科技】3月14日消息，晶圆级芯片领域的领军企业Cerebras，近日发布了其最新一代的芯片产品——WSE-3。据悉，这款芯片在保持与前代产品WSE-2相同功耗的同时，实现了性能的大幅提升，翻倍的表现令人瞩目。

WSE-3的详细参数显示，它采用了台积电先进的5nm制程技术，集成了高达4万亿个晶体管，拥有900,000个AI核心，以及44GB的片上SRAM缓存。此外，WSE-3还提供了1.5TB、12TB和1.2PB三种可选的片外内存容量，以满足不同场景下的需求。其峰值AI算力更是高达125
PFLOPS，展现了强大的计算能力。

据HowToTech科技了解，Cerebras基于WSE-3推出了CS-3系统，该系统凭借其最高可达1.2PB的内存容量，能够训练比当前热门的GPT-4和Gemini模型大10倍的下一代前沿模型。这意味着CS-3可以在单个逻辑内存空间中容纳参数规模高达24,000T的模型，为开发人员提供了极大的便利，简化了他们的工作流程。

CS-3系统非常适合超大规模AI需求。一个紧凑的四系统集群就能够在一天内完成70B模型的微调。而当使用最大规模的2048个CS-3系统集群时，它甚至可以在一天内完成Llama
70B模型的训练，展现了惊人的训练速度。

Cerebras还强调CS-3系统的易用性。在大模型训练中，与GPU相比，所需代码减少了97%。开发人员仅需565行代码就可以实现与GPT-3大小模型相当的标准实现，这大大降低了开发门槛和复杂度。

阿联酋的G42财团已经表示将打造基于Cerebras CS-3的Condor Galaxy
3超级计算机。这台超级计算机将包含64个CS-3系统，提供高达8 exaFLOP的AI算力，为科研和工业领域的应用提供强大的支持。