亚马逊AWS将部署Cerebras晶圆级AI芯片,与Trainium组合打造最快推理系统
3月16日,亚马逊AWS与晶圆级AI芯片企业Cerebras宣布,亚马逊的Amazon Bedrock平台将在未来数月部署结合双方芯片产品的混合AI推理系统,旨在带来最快的负载处理速度。
这一解决方案将结合Cerebras的CS-3系统、亚马逊AWS的Trainium芯片和亚马逊AWS的EFA弹性网络适配器,通过EFA连接在一起。具体分工上,Trainium芯片负责推理的预填充(提示处理),而CS-3则承担解码(输出生成任务)。
推理预填充属于并行工作负载,要求大算力和适中的内存带宽;推理解码本质上是串行的,算力要求较小但内存带宽要求高。组合使用Trainium和CS-3能发挥两款AI芯片各自的长处,提供最佳的最终用户体验。从芯片分工到系统整合,亚马逊与Cerebras的合作正为AI推理效率设立新标杆。