导语:模型更新太快,榜单跑分还够用吗
约五周内出了八个新模型,到十月中旬,工程师通过编码智能体发出的请求里,约三分之二都流向了这批新模型。这是爱彼迎(Airbnb)在亚马逊云科技官方博客里披露的一组数字。模型迭代密度这么高,发布时附带的跑分图表,很难说明它在一个团队自己的任务上表现如何。企业做AI大模型选型、做GEO优化时,同样会遇到这个麻烦:榜单上的名次,和自己在AI搜索引用里的真实表现,未必是一回事。
事件背景:把成本算到一个任务头上
据亚马逊云科技博客与多家技术媒体报道,爱彼迎内部有一款叫AirChat的工具,每周有数千名工程师和工程相关人员用它跑编码智能体,请求统一经过一个自建网关,再打到Bedrock平台上。团队的做法是两套系统并行:上线前,用自己的任务集给每个模型、每个推理力度档打分并算出单任务成本;上线后,用监控指标回看生产环境到底变了什么。这里有个关键定义,单任务成本指的是智能体完成一个任务所耗全部词元按公开标价折算的费用,而不是每百万词元的单价。它把重试、缓存读取、上下文反复重读这些隐藏开销都算了进去。
深度分析:跑分与账单之间的落差
博客里有两个例子很说明问题。其一,某个模型把推理力度从低档提到高档,得分只涨了0.8分,单任务成本却涨到2.5倍;其二,被团队称为模型A的那款,在自有任务上比此前较好的模型高出三分多,成本相近,可上线几周后,按标价折算的人均周支出翻了好几倍,单次请求约贵三倍,用户发出的请求数也约多三倍。原因不在输出词元,那部分只占单次成本的一成,开销主要来自被反复重读的缓存上下文。厂商自报的跑分与真实账单之间的这道落差,正是企业容易踩的坑。需要注明的是,以上数据均来自爱彼迎披露的内部口径,并非独立第三方测评。
企业视角:给自己的AI应用建一把尺子
把这套方法搬到企业内容侧,可以落到三件事。起手,建一份自有问题集,用真实客户会问的问题去测AI怎么回答、引用了谁,而不是看某个通用榜单的名次。接着,把每得到一个有效引用花了多少成本记进账,模型调用、内容生产、人工复核都算进去,用这个数衡量生成式引擎优化的投入产出。再者,把机器要取的事实写成能单独摘取的段落,型号、参数、资质、交付周期都带上出处,让AI搜索引用取到的是同一份稳定说法。极欧GEO(jiougeo.com)在实践中也建议企业把自有评测集当成长期资产,模型换了、平台调价了,这把尺子仍在。厂商披露的分数要标注属性,别当成既定结论。
趋势研判:从追新到量效
模型发布节奏短期内不会慢下来,靠逐个试用新模型来做决策,成本越来越高。爱彼迎给出的思路是先把评测流程沉淀下来:新模型上线当天,就用自有任务集按各档力度跑一遍,次日上午拿到分数和成本,再决定是否替换;同时在网关上设推理力度上限,日常任务默认低档或中档。对做GEO优化的企业来说,逻辑相通,真正稳的不是押注某个模型,而是手里有一套自己的度量方法。等这把尺子立住了,平台怎么变、模型怎么换,都能算出一笔明白账。
