谷歌更新 Android Bench 榜单:Gemini 4 Argon 编程能力落后于 Claude 与 GPT
10月28日,据报道,谷歌更新了用于评估 AI 模型安卓编程辅助能力的 Android Bench 榜单,自家 Gemini 4 Argon 的成绩大幅落后于最新版 Claude 与 GPT 系列模型。
Android Bench 于今年年初推出,方便安卓开发者按谷歌这套测试标准挑选最适合安卓代码开发辅助的 AI 模型,测试会考量安卓开发特有的使用场景与最佳实践。谷歌在持续纳入新模型排名的同时,还把平均调用成本计入基准指标,方便开发者结合自身需求做选择。
在10月26日的这次更新中,谷歌新增标注了各模型采用的推理等级,同时补充了多款模型的测试结果,包括 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5,以及谷歌自家的 Gemini 4 Argon。
目前榜单第一名是 Claude Sonnet 5.5,通过率40%、完成率80.9%,10月初加入榜单的 Claude Opus 5.5 位列第二。OpenAI 的 GPT-6.1 Sol 是此次最值得关注的新增模型,通过率29.3%、完成率82.8%,但调用成本仅99.50美元;相比之下,排名第一的 Claude 调用成本高达1574.90美元。
谷歌自家的 Gemini 4 Argon 首秀表现平平,排在第五位,明显落后于其他前沿模型,甚至不及 Claude Fable 5.1,通过率仅21.3%、完成率81.8%,平均调用成本267.70美元。在 Gemini 4 Argon 官宣后不久,就有内部消息称该模型难以处理部分编程任务,不过谷歌依旧认可其能力。