(中央社记者吴家豪台北9日电)人工智慧算力竞赛白热化,科技巨擘纷纷加速自研晶片节奏。Google今天宣布扩展第8代张量处理器(TPU)晶片系统阵容,新增专为安全与机密推论打造的TPU 8tx,以及专为庞大脉络视窗(context windows)与最高单机柜运算密度设计的TPU 8i Max。
这也是Google首次在同一年内推出4款TPU系统,全力迎战AI代理(Agent)时代的算力挑战。
早期Google自研TPU的节奏约为每2年推出1款,随后缩短至每年1款或2款。今年4月在Google Cloud Next大会上,Google推出专为大规模训练打造的TPU 8t与即时推论设计的TPU 8i,如今再度扩充产品线,单一年度内接连发布4款TPU,展现围绕自研晶片打造人工智慧超级电脑(AI Hypercomputer)系统的研发能量。
Google在官方部落格发文指出,打造一套「系统」与研发「新晶片」截然不同。晶片制造受实体物理与制造周期限制需耗费数年,但Google十多年前就把TPU设计为模组化架构,让工程团队能在短短几个月内,围绕既有晶片快速调整封装、高速记忆体、光学网路与安全机制,跟上AI软体演进步调。
Google Cloud运算与AI基础架构副总裁暨总经理罗梅尔(Mark Lohmeyer)在一场媒体简报会中分析,生成式AI正经历关键转变,在推论端,技术已从最初人类与模型单次问答的对话阶段,跨入系统自主拆解任务、运用内部工具与撰写程式码的「智慧代理时代」。
罗梅尔指出,这项变革带来3大转变。首先是运算规模从人类层级迈向「代理规模」(agent scale),单一请求即可触发背后成百上千次操作,算力需求呈现10倍至1000倍暴增;其次,AI从被动检索的记录系统进化为主动执行的行动系统,引发严格的安全与法规要求;最后,代理在长时间任务中需持续存取并维护庞大的文件与程式码档案,使记忆体频宽与百万词元(Token)规模的脉络处理能力面临严峻考验。
面对算力痛点,Google不再仰赖单一通用规格,而是针对不同工作负载量身打造系统配置。
新亮相的TPU 8tx针对安全与机密推论进行最佳化,也是首款具备硬体级机密运算(Confidential Computing)特性的TPU,采用与TPU 8t相同的矽晶片并搭配第5代超微(AMD)EPYC CPU主机,将安全机制直接内建于硬体层中,确保敏感资料与模型权重在处理与活跃使用状态下,全程受到保护与维持隔离。
另一款TPU 8i Max则瞄准长脉络作业与重度代理工作负载,旨在突破「记忆体高墙」(memory wall)。Google将2颗低延迟的TPU 8i晶片整合封装在单一模组上,实现双倍运算能力、双倍静态随机存取记忆体(SRAM)与双倍高频宽记忆体(HBM)频宽,在现有机柜空间容纳2倍的矽晶片,大幅提升资料中心每平方英尺与每瓦电力的运算密度。
除了硬体系统升级之外,Google也同步推出Agent Compute Engine软体,能在几毫秒内自动暂停闲置的AI代理工作阶段,并将工作记忆体移出晶片,消除代理等待外部工具或人类反馈时的算力浪费。