一轮跑分里我们踩过的坑
一轮跑分里我们踩过的坑
第一次搭自动跑分,比想象中麻烦。记几个坑:
1. 判分模型也会偏心
用强模型给弱模型打分,强模型有时会"手下留情"。我们加了一层规则校验兜底。
2. 超时和限流
批量请求 API 必踩限流。加了退避重试后才稳。
3. 版本漂移
同一模型后台悄悄更新,分数就不可比了。现在每轮都记录模型版本号。
后面会把整套脚本开源,欢迎来复现。
第一次搭自动跑分,比想象中麻烦。记几个坑:
用强模型给弱模型打分,强模型有时会"手下留情"。我们加了一层规则校验兜底。
批量请求 API 必踩限流。加了退避重试后才稳。
同一模型后台悄悄更新,分数就不可比了。现在每轮都记录模型版本号。
后面会把整套脚本开源,欢迎来复现。