Kimi K3.1 Pro 能力评测

评测方法

• 模型：k3.1-pro（K3.1 Pro，1M 上下文，always-thinking），基线对比 k3（K3）。
• 接口：Kimi Code 订阅端点 api.kimi.com/coding/v1，OpenAI 兼容 chat completions。
• 规模：11 个维度共 81 个用例，分「基础轮」（38 例，两模型均满分饱和）与「极限轮」（43 例，对照 K3.1 Pro 官方能力柱设计：竞赛级推理、大数/模幂精确计算、BF 解释器与递归下降解析器、单文件可玩游戏与 Three.js/Blender 构建物、DCF/敏感性重估、多针与干扰针长文检索、过度调用检测、字词级约束）。
• 判分：全部程序化——单测沙箱执行 / node --check 语法门 + 特征清单（部分得分）/ 数值容差 / 嵌套 JSON / 藏头与词数校验 / 真针排除干扰针。
• 指标：每用例 0-1 得分（构建类按特征清单给分）、耗时、prompt/completion/reasoning tokens；分类分为用例均值。
• 局限：单轮提示、无多轮 Agent 循环、构建物未做运行时渲染验证（仅语法+特征），反映的是能力画像而非权威基准。
• 注：k3.1-pro 的 c13（单文件贪吃蛇）多次请求返回 429（引擎过载）/504（网关超时）/300s 读超时，未获响应，按 0 记——属服务端限流与超长生成，而非判分失败；低 effort 补测同样被 429 拦截。这是本套件唯一的区分点：always-thinking 架构下，超长构建类生成在默认 effort 更易触达网关超时。即便极限轮，两模型在可判分项上依然全部通过——单轮程序化评测已无法触及该模型的能力天花板，真正的上限区分需要多轮 Agent 任务或开放式交付物人工评审。