Cerebras Systems 通过推出晶圆级引擎 3，将其现有的最快 AI 芯片世界纪录翻了一番。WSE-3 的性能是之前的纪录保持者 Cerebras WSE-2 的两倍，功耗相同，价格相同。基于 5nm 的 4 万亿晶体管 WSE-3 专为训练业界最大的 AI 模型而构建，为 Cerebras CS-3 AI 超级计算机提供动力，通过 900,000 个 AI 优化计算核心提供 125 petaflops 的峰值 AI 性能。
主要规格：
- 4万亿个晶体管
- 900,000 个 AI 核心
- 125 petaflops 的峰值 AI 性能
- 44GB 片上 SRAM
- 5nm台积电制程
- 外部存储器：1.5TB、12TB 或 1.2PB
- 训练多达 24 万亿个参数的 AI 模型
- 最多 2048 个 CS-3 系统的集群大小
CS-3 拥有高达 1.2 PB 的巨大内存系统，旨在训练比 GPT-4 和 Gemini 大 10 倍的下一代前沿模型。24 万亿个参数模型可以存储在单个逻辑内存空间中，无需分区或重构，从而大大简化了训练工作流程并提高了开发人员的工作效率。在 CS-3 上训练一个 1 万亿个参数模型就像在 GPU 上训练一个 10 亿个参数模型一样简单。
CS-3 专为满足企业和超大规模需求而构建。紧凑的四种系统配置可以在一天内微调 70B 模型，而在使用 2048 系统全面调整的情况下，Llama 70B 可以在一天内从头开始训练——这是生成式 AI 前所未有的壮举。
最新的 Cerebras 软件框架为 PyTorch 2.0 和最新的 AI 模型和技术（如多模态模型、视觉转换器、专家混合和扩散）提供原生支持。Cerebras 仍然是唯一一个为动态和非结构化稀疏性提供原生硬件加速的平台，将训练速度提高了 8 倍。
“八年前，当我们开始这段旅程时，每个人都说晶圆级处理器是一个白日梦。我们非常自豪能够推出我们突破性的第三代水垢AI芯片，“Cerebras首席执行官兼联合创始人Andrew Feldman说。“WSE-3 是世界上最快的 AI 芯片，专为最新的尖端 AI 工作而打造，从专家混合到 24 万亿参数模型。我们很高兴将 WSE-3 和 CS-3 推向市场，以帮助解决当今最大的 AI 挑战。
卓越的电源效率和软件简单性
CS-3 的每个组件都针对 AI 工作进行了优化，与任何其他系统相比，CS-3 以更少的空间和更低的功耗提供更高的计算性能。虽然 GPU 的功耗是一代又一代的两倍，但 CS-3 的性能翻了一番，但保持在相同的功率范围内。CS-3 具有卓越的易用性，与 LLM 的 GPU 相比，需要的代码减少了 97%，并且能够在纯数据并行模式下训练从 1B 到 24T 参数的模型。GPT-3 大小模型的标准实现只需要 Cerebras 上的 565 行代码——这是行业记录。
行业合作伙伴关系和客户
Cerebras 已经积压了大量企业、政府和国际云的 CS-3 订单。
“作为Cerebras的长期合作伙伴，我们有兴趣了解晶圆级工程的发展。CS-3和基于这种架构的超级计算机正在为新型规模系统提供动力，使我们能够探索前沿人工智能和科学的极限，“阿贡国家实验室计算，环境和生命科学副实验室主任Rick Stevens说。“Cerebras的大胆继续为人工智能的未来铺平道路。
妙佑医疗国际战略医学主任兼放射学主任Matthew Callstrom博士医学博士表示：“作为我们与Cerebras开发改善患者预后和诊断的人工智能模型的多年战略合作的一部分，我们很高兴看到技术能力的进步，以加强我们的工作。
CS-3还将在Cerebras和G42之间的开创性战略合作伙伴关系中发挥重要作用。Cerebras 和 G42 的合作伙伴关系已经通过 Condor Galaxy 1 （CG-1） 和 Condor Galaxy 2 （CG-2） 提供了 8 exaFLOP 的 AI 超级计算机性能。部署在加利福尼亚的 CG-1 和 CG-2 都是世界上最大的人工智能超级计算机之一。
今天，Cerebras 和 G42 宣布 Condor Galaxy 3 正在建设中。Condor Galaxy 3 将配备 64 个 CS-3 系统，产生 8 exaFLOP 的 AI 计算能力，这是世界上最大的 AI 超级计算机之一。Condor Galaxy 3 是 Condor Galaxy 网络中的第三个安装。Cerebras G42 战略合作伙伴关系将提供数十 exaFLOP 的 AI 计算。Condor Galaxy 已经训练了一些业界领先的开源模型，包括 Jais-30B、Med42、Crystal-Coder-7B 和 BTLM-3B-8K。
“我们与Cerebras的战略合作伙伴关系在推动G42的创新方面发挥了重要作用，并将有助于加速人工智能的发展“。