CMMLU 开源数据集怎么用？助力 AI 研究与垂类模型中文性能优化指南

? 一文搞懂 CMMLU 开源数据集：从入门到实战的 AI 研究利器

? 什么是 CMMLU 数据集？

? 如何获取 CMMLU 数据集？

?️ 数据预处理：让数据更 “干净”

1. 数据清洗：检查数据中是否有重复、缺失值或格式不一致的情况。比如，有些问题可能存在错别字，或者选项顺序混乱，需要手动修正。对于 CMMLU 中的专业术语，要确保其准确性，避免因术语错误影响模型的学习效果。
   
   
2. 文本分词：中文分词是自然语言处理的基础。你可以使用 jieba、THULAC 等工具对文本进行分词，将句子拆分成词语序列。例如，“中国传统节日” 可以分词为 “中国 / 传统 / 节日”。
   
   
3. 去除停用词：停用词如 “的”“了”“在” 等对模型的语义理解帮助不大，可以将其过滤掉，减少数据量，提高训练效率。
   
   
4. 数据标注：CMMLU 的问题已经标注了正确答案，但为了更好地进行模型评估，你可以进一步标注问题的难度等级、学科类别等信息，方便后续分析。
   
   

? 模型训练：让模型 “吃透” 专业知识

1. 微调（Fine-tuning）：以 BERT、ChatGLM 等预训练模型为基础，在 CMMLU 数据集上进行微调。通过调整模型的参数，让其更好地适应中文专业知识的推理任务。例如，度小满的 “轩辕 70B” 金融大模型就是在 CMMLU 上进行微调，大幅提升了金融领域的知识理解能力。
   
   
2. 提示学习（Prompt Learning）：通过设计特定的提示模板，引导模型关注问题的关键信息。比如，对于法律问题，可以设计提示 “根据中国法律，以下哪种行为属于侵权？”，让模型更准确地提取法律条文知识。
   
   
3. 数据增强：为了增加数据的多样性，可以使用回译、同义词替换等方法对文本进行扩充。例如，将 “驾驶机动车时需要系安全带” 回译为英文再译回中文，生成不同的表达方式。
   
   

? 模型优化：提升性能的关键策略

1. 学科均衡训练：CMMLU 涵盖多个学科，不同学科的难度和数据量可能存在差异。可以对数据量较少的学科进行过采样，或者对数据量较多的学科进行欠采样，确保模型在各个学科上都能均衡发展。
   
   
2. 多任务学习：将 CMMLU 与其他中文数据集结合，进行多任务学习。例如，同时训练模型进行文本分类、问答等任务，提升模型的综合能力。
   
   
3. 知识蒸馏：将复杂的大模型知识迁移到轻量级模型上，既能保持性能，又能提高推理速度。猎户星空的 Orion-14B 模型通过知识蒸馏和量化技术，在千元级显卡上也能流畅运行。
   
   
4. 强化学习（RLHF）：通过人类反馈强化学习，让模型生成更符合人类偏好的回答。夸克大模型在医疗领域的应用中，就通过 RLHF 降低了幻觉率，提升了回答的准确性。
   
   

? 应用场景：CMMLU 的实战价值

1. 金融领域：度小满的 “轩辕 70B” 金融大模型在 CMMLU 上的表现位居榜首，能够准确理解金融知识，为金融从业人员提供专业的问答和分析支持。
   
   
2. 医疗领域：夸克健康助手通过 CMMLU 评测，提升了医学知识推理能力，能够准确诊断疾病、提供治疗建议，甚至在实际病例中与医院检查结果一致。
   
   
3. 法律领域：CMMLU 包含 “法律与道德基础” 等学科，模型可以通过学习这些内容，辅助法律条文理解、案例分析等任务。
   
   
4. 通用领域：CMMLU 的多学科覆盖使其适用于通用大模型的评估和优化。例如，vivo 自研大模型在 CMMLU 上的表现远超同级别模型，提升了其在人文、社科等领域的综合能力。
   
   

? 总结