维度雷达
分类得分
效率指标
用例明细
评测方法
- 模型：
k3.1-pro（K3.1 Pro，1M 上下文，always-thinking），基线对比k3（K3）。 - 接口：Kimi Code 订阅端点
api.kimi.com/coding/v1，OpenAI 兼容 chat completions。 - 规模：8 个维度共 38 个用例，全部程序化判分（数值匹配 / 关键词 / JSON 校验 / 代码沙箱执行 / 工具调用参数核对 / 长文档大海捞针 / PIL 生成图识别）。
- 指标：每用例 0/1 得分、耗时、prompt/completion/reasoning tokens；分类分为用例均值。
- 结论提示：本套件在两个模型上均满分饱和——常规能力项不构成区分度，有效差异主要体现在效率指标（延迟与推理 token 开销）。
- 局限：样本量小、单轮提示、判分偏严格（如对联按字数判），反映的是相对画像而非权威基准。