Step1 / Classification Report¶
The current site directly includes the original Chinese report source below. English translation can be added later without changing the source organization.
分类效果评估与边界 case 分析报告¶
1. 分析目的¶
第一版中使用 gpt-oss:20b 对 CSDS 对话做“快递 / 邮政相关”二分类。反馈要求补充说明：已有二分类结果是否做过探查、整体情况如何、是否存在边界 case、是否有量化指标评估分类效果，并建议用 Regex 分析总结字段中的关键词来打标签。
本报告只围绕两个结果做二分类对照：
- 已完成的
gpt-oss:20b二分类结果。 - 基于总结字段关键词构造的 Regex 弱标签。
2. Regex 规则¶
Regex 是基于总结字段关键词构造的可解释对照标签，用来量化 20B 结果与关键词规则的一致性，并定位边界样本。
二分类 Regex 使用的关键词包括：
邮政、中国邮政、EMS、ems、邮局、邮政快递、邮政包裹、特快专递、挂号信、平邮、邮政编码、邮政网点、邮政营业厅、商务件、
快递、物流、配送、派送、配送员、快递员、送货员、站点、分站、网点、自提点、提货点、派件点、配送点、
分拣、分拨、分部、揽收、取件、上门取件、上门取货、签收、拒收、收货、收件、寄回、寄出、寄送、
邮寄、包裹、运费险、运费、发货、到货、送达、送到、清关、海关、转站点、拦截、代收、货到付款
业务类 Regex 使用的关键词包括：
| 类别 | 关键词 |
|---|---|
| 费率价格类 | 运费、邮费、多少钱、价格、费用、收费、保价、报价、首重、续重 |
| 时限时效类 | 几天、多久、什么时候到、时效、预计、送达、到达、延误、超时、派送、物流、快递 |
| 流程规则类 | 怎么寄、怎么下单、修改地址、地址写错、取消、退回、签收、揽收、取件、上门、站点、网点、流程、规则 |
| 禁限寄类 | 禁寄、限寄、不能寄、可以寄吗、违禁、液体、电池、药品、食品、化妆品、危险品 |
| 国际业务类 | 国际、国外、海外、海关、清关、报关、跨境、进口、出口 |
3. 各 split 标签规模¶
| split | 总样本数 | 20B 判为相关 | Regex 命中 |
|---|---|---|---|
| train | 9101 | 5376 (59.07%) | 5013 (55.08%) |
| val | 800 | 459 (57.38%) | 440 (55.00%) |
| test | 800 | 486 (60.75%) | 438 (54.75%) |
20B 判相关比例约为 59.07%，Regex 命中比例约为 55.05%。二者规模接近，说明 20B 的二分类结果主要覆盖了快递、物流、配送、订单流转等宽口径客服场景，整体方向与可解释关键词规则基本一致。
4. 20B 与 Regex 对照¶
| 标签组合 | 样本数 | 占比 |
|---|---|---|
| 20b=True regex=True | 5102 | 47.68% |
| 20b=True regex=False | 1219 | 11.39% |
| 20b=False regex=True | 789 | 7.37% |
| 20b=False regex=False | 3591 | 33.56% |
20B 与 Regex 同时判为相关的样本有 5102 条，占全量 47.68%。这部分通常包含快递、物流、配送、取件、签收、站点、运费等显式业务词，是当前二分类结果中最容易解释的一类样本。
边界 case 主要来自两类：
20b=True regex=False：20B 判为相关，但总结字段没有命中 Regex。可能是模型根据完整对话上下文识别出的隐性物流场景，也可能是 20B 误收。20b=False regex=True：Regex 命中，但 20B 判为不相关。可能是关键词出现在发票、售后、安装、会员等非寄递主题中，也可能是 20B 漏判。
因此，Regex 的价值是提供一个透明的对照视角和边界样本池，而不是替代模型输出。
5. Regex 业务类弱标签分布¶
| 类别 | 命中数 | 占比 |
|---|---|---|
| 流程规则类 | 4264 | 32.54% |
| 时限时效类 | 3202 | 24.44% |
| 费率价格类 | 1333 | 10.17% |
| 国际业务类 | 77 | 0.59% |
| 禁限寄类 | 57 | 0.43% |
| 未命中 | 4171 | 31.83% |
Regex 业务类弱标签显示，当前数据中流程规则类和时限时效类最多，费率价格类有一定规模，国际业务类和禁限寄类较少。这与客服对话中常见的地址修改、签收拒收、配送时效、运费咨询等问题结构相符。
6. 结论¶
20B 与 Regex 的整体规模接近，说明第一版 20B 二分类结果并不是无依据扩张，而是大体落在快递、物流、配送和订单流转相关的宽口径场景中。
本报告的结论只基于 20B 与 Regex 对照：20B 给出已有二分类结果，Regex 给出可解释关键词弱标签。二者都服务于“第一版二分类结果是否合理、边界样本在哪里”这个问题。