新芯航途发布智驾大模型芯片 X7 Ultra:700 TOPS 算力
10月29日,据报道,XHEART 新芯航途今日正式发布大模型芯片 X7 Ultra,以"大模型定义芯片"为核心理念,从真实量产模型需求出发设计芯片架构,大模型算力达700 TOPS。CEO 李宗霖认为,随着智能驾驶从多个小模型走向端到端大模型,芯片的设计方式也需要改变,因此公司在2023年创业之初就决定从真实应用中的模型需求倒推芯片架构,重新组织计算、存储和数据流转,并为未来模型演进预留空间。
这枚芯片专为大模型设计,采用超大核 NPU 架构,核内数据交互对比核间数据交互,互联速率呈 TB/s 数量级提升,多级缓存架构支持大容量、高并发,可降低推理时延与功耗。芯片内置高精度大模型专用算子加速引擎,针对 Layernorm、Softmax、Transpose 等 Transformer 关键算子做极致硬件优化,原生支持 FP16/FP32 高精度向量计算,保障模型精度。
性能方面,X7 Ultra 的 NPU 硬件并行度可充分释放大模型推理潜能,计算利用率达98.7%,相比行业旗舰产品内存带宽消耗下降80%、能效提升100%,量产模型实测99.99%对齐。它还中国首发量产 Armv9 车规级 CPU,性能提升20%、能效提升10%,大集群架构提升了多核协同与 L3 访存性能,并集成全新 SVE2 向量处理引擎,相比上一代 NEON 具有更强的 DSP 性能。