每经记者|刘曦 每经编辑|裴健如
6月17日,专注3D架构AI云端大算力芯片研发设计的算苗科技宣布,旗下3D TokenPU芯片A4E已于6月15日正式流片。据悉,该芯片面向大模型推理需求,基于自研RISC-V架构,采用成熟国产工艺,专攻推理场景的极致性能与更低总拥有成本(TCO)。
“我们不是在别人的赛道上追赶,而是在开辟新的方向。”算苗科技创始人兼CEO、中科院声学所国家重点实验室博士汪福全在接受《每日经济新闻》记者采访时表示,“3D TokenPU专为大模型Token处理而生,不必单纯依赖制程缩小,就能实现算力密度、能效比的跨越式提升。”
图片来源:每经记者 刘曦 摄
据悉,A4E将8层存储晶圆垂直堆叠在计算逻辑晶圆上,通过硅通孔(TSV)与凸点(bump)技术实现微米级互联,将传统芯片间毫米级传输距离压缩两个数量级,带来超大访存带宽,有效缓解大模型推理中因数据搬运效率低导致的“数据饥饿”问题。
实际上,当前AI算力需求正从训练侧向推理侧迁移。德勤预计,长期来看全球推理负载占AI算力比例有望超过80%,同时开源RISC-V架构正从“备选”走向“主流”,在数据中心及AI推理等场景加速渗透。
与此同时,车百智库报告指出,无论是电子电气架构还是智能驾驶解决方案,都在很大程度上依赖算力的合理分布与高效利用,算力已成为智能汽车的核心要素。相比车端计算芯片,云端芯片需承担复杂训练任务和海量数据处理,算力更为强劲。
算苗科技技术人士向记者介绍,3D TokenPU目前主要面向云端大算力AI推理场景,应用在头部大模型公司的超节点服务器、大型智算中心服务器,以及部分金融等专业领域需要私有化部署到本地的场景中。当前汽车的智联、智驾功能日益普及,许多智能化处理同样需要通过云端服务器完成,其中就会涉及云端AI服务器,进而有机会用到3D TokenPU这类推理芯片。