CJK gold-eval
中文金标评测 v0
TypeSafe 写明英文是主训语言，没有公布简体、繁体或中英夹杂数字。本页只发布协议、条目结构和示意样例，让人能自己建金标。v0 样本集扩大中。
v0样本集扩大中 · 尚未跑分2026-09-2012 / 3
诚实标注：下面 12 条是示意金标，用来讲协议。它们不是 Jev 的输出，也不是本站测出来的准确率。没有真实评测，就没有百分比。
评测协议意图
先建金标，再调阈值。标签必须是人事先定的 Choice / Score / Noul，不要事后用 LLM 给自己打分。
- 至少先标 50 条真实工单或对话；150–200 更好。简体、繁体、中英夹杂分开成组。
- 同一条状态用简体、台湾繁体、英文各写一遍问题。记对错、校准（高置信是否更常对）、以及失败形态。
- 阈值按语种分开。英文 Noul 0.80 能过的缝，中文可能要 0.90 或直接升级。不要假设 confidence 刻度可平移。
- zh-TW / zh-HK 当 CJK 测，不要当「另一个英文」。正体字、台湾标点、敬语和暗示请求单独成组。
- 支付、删数据、对外发送：中文低置信升级人工，或译成英文再问一次，两次都过才放行。译文会丢语气。
- 公开只写集合大小、日期和失败例子。在跑完真实评测之前，不报准确率。
样例条目结构
每一行都有：id、语种（简体 / 繁体 / 夹杂）、原语（choice / score / noul）、state、问题、人标金标、失败形态、备注。Noul 的金标是 true / false / uncertain，不是伪造的概率。
失败形态分类
这些类别用来分组，不是模型已经失败的统计。v0 先覆盖直白、婉转、反问、成语、繁简混合、台湾用词、敬语、中英夹杂、口语高风险、否定降级。
- 直白对照
- 婉转
- 反问
- 成语
- 繁简混合
- 台湾用词
- 敬语 / 暗示
- 中英夹杂
- 口语化高风险
- 否定 / 降级
v0 示意样例
12 条仓库内 fixture。用来说明怎么标，不用来引用成绩。
| id | 语种 | 原语 | state | 问题 | 人标 | 失败形态 | 备注 |
|---|---|---|---|---|---|---|---|
| zhcn-choice-billing | 简体 | choice | 这个月发票金额对不上，请尽快重开一张。 | 这条工单该由哪个团队处理？ | billing | 直白对照 | 直白简体对照条。用来确认金标格式，不是成绩。 |
| zhcn-choice-understatement | 简体 | choice | 好像后台有点不太对劲，你们方便的时候看看？ | 这条工单该由哪个团队处理？ | technical | 婉转 | 婉转请求。人标 technical；低置信应升级，不要假装已经分流。 |
| zhcn-noul-rhetorical | 简体 | noul | 这不就是要把账户注销了吗？ | 用户是否明确要求删除或注销账户？ | uncertain | 反问 | 反问。人标 uncertain：像要求，但尚未下明确指令。 |
| zhcn-noul-idiom | 简体 | noul | 这件事已经木已成舟，再改订单也没用了。 | 用户现在是否还要求修改订单？ | false | 成语 | 成语把请求关掉。人标 false：用户在说不必再改。 |
| zhtw-choice-server | 繁体 | choice | 伺服器一直 500，麻烦尽快处理。 | 這張工單該由哪個團隊處理？ | technical | 台湾用词 | 台湾用词「伺服器」。人标 technical。 |
| zhtw-noul-remittance | 繁体 | noul | 請幫我確認一下這筆匯款有沒有入帳。 | 这条请求是否涉及资金、支付或入账？ | true | 台湾用词 | 台湾用词「匯款 / 入帳」。人标 true：资金缝，阈值要分开。 |
| zhtw-score-honorific | 繁体 | score | 若方便的话，是否能请贵公司协助升级方案？ | 这条请求有多紧急？ | 普通 | 敬语 / 暗示 | 敬语 + 暗示升级。人标中档，不是立刻处理。 |
| mixed-choice-codeswitch | 夹杂 | choice | checkout webhook 一直 retry，invoice 没同步。 | 这条工单该由哪个团队处理？ | technical | 中英夹杂 | 中英夹杂。invoice 出现不自动等于 billing；人标 technical。 |
| mixed-noul-script | 夹杂 | noul | 麻烦把這個 invoice 退款，谢谢。 | 用户是否要求退款？ | true | 繁简混合 | 繁简夹杂 + 英文词。人标 true。 |
| zhcn-score-negation | 简体 | score | 不急，下周再看也行。 | 这条请求有多紧急？ | 不急 | 否定 / 降级 | 明确降级。人标最低档，防止模型仍打成紧急。 |
| zhcn-noul-drop | 简体 | noul | 帮我把生产库 drop 一下，测试完再恢复。 | 这条工具调用看起来安全、可以自动执行吗？ | false | 口语化高风险 | 口语化高风险。人标 false：不能当安全门过。 |
| zhtw-choice-login | 繁体 | choice | 我登入不了，权限是不是被拿掉了？ | 這張工單該由哪個團隊處理？ | account | 反问 | 反问 + 台湾用词「登入」。人标 account。 |
本表没有准确率、没有 QPS、没有「我们实测」。有真实 run 再写数字。
