Step1 / CSDS Statistics Report¶

The current site directly includes the original Chinese report source below. English translation can be added later without changing the source organization.

CSDS 数据集统计分析与关键词提取结果报告¶

本报告汇总 week1/stats/outputs/vis 目录下的全部统计分析与关键词提取结果，并对方法、图像含义和结果特征做统一说明。
内容主要围绕两个部分展开：

数据基础统计结果
关键词提取方法结果，包括 TF-IDF、TextRank、KeyBERT

1. 方法概述¶

1.1 基础统计¶

基础统计模块主要统计：

对话轮数
整条对话 token 数
整条对话词数
全量词频

其中 token 统计口径为：

使用 cl100k_base
编码前先去掉空格

词数统计口径为：

利用原始数据已经分词这一事实
按空格切分后直接统计词数

实现细节：

统计粒度分成两层：一层是“整条完整对话”，另一层是“单轮 utterance”
整条对话的 token 数，是将同一条对话中所有 utterance 的 token 数累计得到
整条对话的词数，是将同一条对话中所有 utterance 的词数累计得到
同时保留了 words 与 documents 两类中间结果：
words 用于后续高频词统计和普通词云
documents 用于后续 TF-IDF、TextRank、KeyBERT

分析起点：

如果一上来就做关键词提取，不先把长度、轮数和词数分布看清楚，后面的分析很容易飘在空中。
基础统计不能直接告诉我们“主题是什么”，但能先把数据轮廓交代清楚：对话有多长、轮数大概集中在哪、不同 split 是否一致。
这一步的作用，就是先把数据本身看明白，再往下做方法分析。

1.2 TF-IDF¶

TF-IDF 用来找：

在部分对话中比较突出
但又不是所有对话中都泛滥出现

的词。
本项目里采用：

单条完整对话 = 一个 document

然后统计词在当前文档中的相对频率 TF，以及它在全部文档中的逆文档频率 IDF，再将两者相乘得到关键词分数。

采用该方法的原因：

如果只做词频统计，最容易跑到前面的往往是 的、了、您、亲 这类高频但缺少主题区分能力的词。
中文客服语料中还有大量模板化表达，比如问候语、礼貌语、固定回复，这些词即使出现很多次，也不一定能代表业务主题。
因此这里不能只看“谁出现得多”，而需要进一步判断“谁既在局部重要，又没有在所有文档中泛滥出现”，这正是 TF-IDF 的作用。

1.3 TextRank¶

TextRank 不是单纯看词频，而是先建立词共现图，再用类似 PageRank 的方法迭代更新词的重要性。
在本项目中：

每条完整对话中的词序列会被转成局部共现关系
窗口大小设置为 4
最后取得分较高的词作为关键词

实现细节：

共现窗口参数写死为 WINDOW_SIZE = 4。它控制的是“一个词会和后面多远范围内的词建立共现关系”。窗口过小，会让很多本来相关的业务词连不上；窗口过大，则会把关系连得过于松散。当前取 4，是为了在局部搭配和噪声控制之间做一个折中。
图迭代使用的阻尼系数为 DAMPING = 0.85。这个参数继承了 PageRank 的经典设定，控制的是“当前词的重要性有多少比例来自它周围邻居节点”。取值偏高时，更强调共现网络传播带来的中心性；取值偏低时，词本身的初始分数影响更大。当前取 0.85，主要是为了让关键词结果更多反映共现结构。
PageRank 风格迭代轮数为 ITERATIONS = 30。它控制的是分数更新重复多少轮。轮数太少时，分数可能还没有稳定；轮数过多虽然问题不大，但计算会更冗余。当前取 30，足以让这一规模下的共现图分数基本收敛。
当前实现先对每条 document 调用 filter_document 做同口径清洗，再构建无向共现图
最终除了输出 score，还会额外统计关键词在语料中的出现次数 count

补充这一方法的原因：

TF-IDF 解决的是“高频泛化词”问题，但它本质上仍然主要依赖词频和文档频率。
有些词未必在统计意义上最突出，但如果它总是和多个核心业务词一起出现，它在主题结构里仍然可能很重要。
因此这里进一步使用 TextRank，目的是从共现网络的角度识别主题中心词，而不是只看统计权重。

1.4 KeyBERT¶

KeyBERT 是语义嵌入路线。
它会把文本和候选关键词映射到语义空间中，再根据相似度挑选关键词。
本项目中：

先对每条对话做词级过滤
再把同一 split 的全部对话拼接成一个大文本
最后提取该 split 的整体关键词

实现细节：

每条 document 会先经过 filter_document 清洗，再重新拼成文本
当前不是“逐条对话分别抽关键词”，而是把同一个 split 下的全部文档按换行拼接后，统一抽取一组关键词
关键词长度范围设定为 keyphrase_ngram_range=(1, 2)。它的含义不是简单列参数，而是限定候选关键词既可以是单个词，也可以是由两个词组成的短语。这样做的目的，是避免结果过于碎片化：如果只允许单词，往往只能看到“退款”“发票”这类单点词；允许双词短语后，模型就有机会保留更完整的局部业务表达，从而让结果更接近真实主题单位。
输出数量由 top_n=top_k 控制。这个参数控制最终保留多少个得分最高的关键词。它不是改变关键词的生成逻辑，而是控制报告展示范围，避免结果过长影响可读性。
当前实现保持了最简调用方式，没有额外引入 batch、并行或设备控制

引入语义方法的原因：

TF-IDF 和 TextRank 都属于传统统计方法，即使已经比单纯词频更强，仍然主要依赖词面信息。
但客服语料里经常会出现“词频不高、却很能代表主题”的表达，或者多个表达在语义上接近、词面上却不完全一致。
因此这里再加入 KeyBERT，目的是补上语义层面的判断，看看从语义相似度角度得到的关键词，是否与统计方法形成互相印证。

1.5 词云与柱状图¶

当前可视化主要有四类：

直方图：看长度分布
高频词柱状图：看最常出现的词
普通词云：按词频展示常见词
方法词云 / Top20 图：按关键词方法的分数展示结果

2. 基础统计结果解读¶

分析目的：

基础统计实验的目的，是先从长度、轮数和词数三个维度建立对数据集的整体认识。
这一步并不直接回答“主题是什么”，而是用来判断数据规模是否稳定、不同 split 是否分布一致，以及数据是否适合后面做模型训练与主题分析。

实施口径：

turn_counts 直接统计每条样本里 Dialogue 的长度
dialogue_token_counts 对整条对话先去空格，再用 cl100k_base 统计 token
dialogue_word_counts 直接按空格切分后累计词数
utterance_token_counts 和 utterance_word_counts 额外保留了单轮级别统计，便于观察单轮话语长度

2.1 训练集结果¶

对话轮数分布¶

train_turn_count_hist

该图对应训练集中每条对话的轮数分布，主要用来判断：

数据是否以短对话为主
是否存在明显的长尾复杂对话

对话总 token 数分布¶

train_dialogue_token_hist

该图对应训练集中每条完整对话的 token 长度分布。
这里的 token 统计口径是：

去掉空格
使用 cl100k_base 编码

它主要用来判断模型输入长度压力，以及大多数样本离上下文上限还有多远。

对话总词数分布¶

train_dialogue_word_hist

该图反映训练集每条对话的词数分布。
和 token 分布相比，词数更接近日常阅读时对长度的直观感受。

高频词 Top20¶

train_top_words

该图列出训练集中出现频率最高的 20 个词，适合快速看：

数据的高频表达
是否还有明显停用词残留
客服语料的固定模板化表达是否很多

普通词云¶

train_wordcloud

这张词云也是按原始词频生成的。
词越大，表示出现得越频繁。
它更偏整体观感，不是精确定量工具。

结果解读：

训练集的大多数对话都落在中等长度区间，只有少量样本形成长尾，说明主体还是常规客服交互。
高频词和普通词云里反复出现订单、申请、退款、发票、配送等词，说明语料的业务集中度比较高，不是开放域闲聊。
从长度分布看，虽然有一部分长对话，但整体离超长上下文场景还很远，后面做统计分析和模型训练都没有明显长度压力。