MMLU(Massive Multitask Language Understanding)是由 Dan Hendrycks 等人于 2020 年提出的大规模多任务语言理解基准测试,论文发表于 ICLR 2021。MMLU 旨在全面评估语言模型在多学科领域的知识广度和推理能力,是 AI 领域最具影响力的基准之一,截至 2024 年中已累计超过 1 亿次下载量,成为 LLM 性能评估的"标配"指标。
MMLU 的核心思想是:要真正衡量一个语言模型的"智能水平",不能仅靠单一任务或领域,必须覆盖从基础学科到专业领域的广泛知识。它考验模型三方面能力:

MMLU 测评覆盖 STEM、人文社科、医学法律等 57 个学科,全面衡量模型的知识广度
MMLU 数据集包含 15,908 道选择题,覆盖 57 个学科任务,分为四大领域:
| 领域 | 学科数 | 约占总题量 | 典型学科举例 |
|---|---|---|---|
| STEM | 18 | ~35% | 大学数学(1,000题)、物理学(754题)、计算机科学(1,000题) |
| 人文与社会科学 | 18 | ~30% | 美国历史(751题)、法学(750题)、经济学(745题) |
| 专业领域 | 16 | ~28% | 医学(750题)、临床知识(750题)、管理学(750题) |
| 形式逻辑与伦理学 | 5 | ~7% | 形式逻辑(400题)、道德规范(350题) |
MMLU 的问题从入门到专家级分为三个层次:
| 难度等级 | 对应教育水平 | 示例问题类型 |
|---|---|---|
| 基础概念 | 高中水平 | 基础数学运算、历史事件时间线、生物细胞结构 |
| 中级理解 | 大学本科水平 | 微积分、有机化学、微观经济学均衡分析 |
| 高级专家 | 研究生/执业水平 | 医学诊断推理(类似 USMLE)、法律判例比较(类似 BAR 考试)、工程优化问题 |
MMLU 采用 few-shot 评测范式,通常使用 5-shot 设置:
| 指标 | 说明 | 典型值(2024年) |
|---|---|---|
| 整体准确率 | 57个学科的宏平均准确率 | GPT-4o: 88.7% |
| 学科准确率 | 每个学科独立计算 | 范围 65%-95% |
| 校准度(Calibration) | 模型置信度与正确率的匹配程度 | GPT-4: 较差(高置信度错误) |
| 随机基线 | 四选一的随机猜测正确率 | 25% |
| 人类专家基线 | 领域专业人士的答题准确率 | ≈89.8% |
def evaluate_mmlu(model, dataset):
"""
MMLU 标准评估流程
- 对每个学科独立进行 few-shot 评估
- 使用 temperature=0 确保确定性输出
"""
subject_scores = {}
for subject in dataset.subjects:
correct = 0
total = len(dataset[subject].questions)
for question in dataset[subject].questions:
# 构建 few-shot prompt:5个示例 + 当前问题
prompt = build_few_shot_prompt(
examples=dataset[subject].examples[:5],
question=question
)
# 模型输出(temperature=0 确保可复现)
output = model.generate(prompt, temperature=0)
# 解析答案选项(A/B/C/D)
answer = output.strip()[-1] if output.strip() else ""
if answer in ["A", "B", "C", "D"] and answer == question.correct_answer:
correct += 1
subject_scores[subject] = correct / total
# 宏平均:各学科准确率的简单算术平均
overall = sum(subject_scores.values()) / len(subject_scores)
return overall, subject_scores
| 时间段 | 代表模型 | 参数量 | MMLU 准确率 | 关键突破 |
|---|---|---|---|---|
| 2020年 | GPT-3 | 175B | ~43.9% | 首次显著超越随机基线(25%) |
| 2021年 | Gopher | 280B | ~60.0% | 首次突破 60% 大关 |
| 2022年 | Chinchilla | 70B | ~67.5% | "少参数+多数据"范式胜利 |
| 2022年 | PaLM | 540B | ~69.3% | 参数规模巅峰期的代表 |
| 2023年3月 | GPT-4 | 未知 | ~86.4% | 首次超越人类专家水平 |
| 2023年7月 | Claude 2 | 未知 | ~78.5% | 安全优先模型的出色表现 |
| 2024年5月 | GPT-4o | 未知 | ~88.7% | 多模态增强的知识广度 |
| 2024年6月 | Claude 3.5 Sonnet | 未知 | ~88.3% | 接近人类专家上限 |
| 2024年7月 | Llama 3.1 405B | 405B | ~88.6% | 开源模型首度追平闭源 |
| 2024年9月 | o1-preview | 未知 | ~90.8% | 推理时计算(scaling test-time compute)的胜利 |
| 2025年 | GPT-4.1 | 未知 | ~90.2% | 超越人类专家上限(89.8%) |
| 2025年 | Claude 4 Sonnet | 未知 | ~88.5% | 安全与性能的新平衡 |

MMLU 准确率从 2020 年到 2025 年实现了翻倍增长,展示了大语言模型的指数级进步
从上表可以看出 MMLU 的性能提升经历了三个阶段:
第一阶段(2020-2022):线性增长期
第二阶段(2022-2023):突破期
第三阶段(2023-2025):饱和期
不同学科对模型能力的要求差异显著。以下是 2024-2025 年阶段模型的典型表现分布:
| 学科 | 典型准确率 | 特点 |
|---|---|---|
| 美国历史 | 92-95% | 事实性知识为主,答案边界清晰 |
| 微生物学 | 91-94% | 标准化知识体系,教材覆盖面广 |
| 药学 | 90-93% | 明确的药理知识和分类 |
| 电气工程 | 90-93% | 基于物理定律和数学公式 |
| 世界历史 | 89-92% | 丰富的历史文献数据支撑 |
这些学科的共同点是:事实性知识丰富,答案有明确的对错边界,大量类似文本存在于训练数据中。
| 学科 | 典型准确率 | 难点 |
|---|---|---|
| 法学 | 72-78% | 判例比较、原则适用需要语境理解 |
| 道德规范 | 70-76% | 伦理判断无绝对正确答案 |
| 形式逻辑 | 73-79% | 结构化推理易出现"看似合理但错误"的结论 |
| 经济学 | 76-82% | 模型依赖直觉而非正式经济模型分析 |
| 全球事务 | 70-78% | 多文化语境、地缘政治判断 |
这些学科的难点在于它们需要辩证思考、伦理判断和语境理解,而非简单的事实回忆。
研究发现,当前高性能模型存在显著的**过置信(Overconfidence)**问题:
# 校准度计算示例
# 模型对某题给出 95% 的置信度(认为答案正确的概率),
# 但实际正确率可能只有 70-80%
def compute_calibration_error(predictions, correct_answers, n_bins=10):
"""
计算预期校准误差(Expected Calibration Error, ECE)
"""
bin_size = 1.0 / n_bins
total_error = 0
for i in range(n_bins):
lower = i * bin_size
upper = (i + 1) * bin_size
bin_predictions = [
p for p in predictions
if lower <= p.confidence < upper
]
if not bin_predictions:
continue
bin_accuracy = sum(1 for p in bin_predictions if p.correct) / len(bin_predictions)
bin_confidence = sum(p.confidence for p in bin_predictions) / len(bin_predictions)
bin_weight = len(bin_predictions) / len(predictions)
total_error += bin_weight * abs(bin_confidence - bin_accuracy)
return total_error
模型在法学和道德相关领域表现尤为突出:虽然准确率相对较低(70-78%),但模型输出时的置信度很高(>90%)。这意味着模型在犯错时往往"不知道自己错了",在实际应用(如医疗建议、法律咨询)中可能导致严重后果。
尽管 MMLU 是多任务基准,其语言视角以英语为中心。所有 57 个学科的问题均为英文,且知识内容侧重于西方教育体系。这导致:
这催生了中文版本的 MMLU 评测:
| 基准 | 学科数 | 特点 | 发布年份 |
|---|---|---|---|
| CMMLU | 67 | 面向中华文化圈,中英文双语 | 2023 |
| C-Eval | 52 | 基于中国教育体系,四个难度级别 | 2023 |
| MMLU-CN | 57 | MMLU 的官方中文翻译版 | 2024 |
CMMLU 的结果尤其值得关注:许多在英文 MMLU 上得分 85%+ 的模型,在 CMMLU 上的得分骤降至 60-70%,暴露出模型在知识多样性方面的系统性缺陷。
2024 年 6 月,研究人员发布了 MMLU-Pro——MMLU 的强化升级版:
MMLU-Pro 与 MMLU 的难度对比:
| 指标 | MMLU | MMLU-Pro | 差距 |
|---|---|---|---|
| 题目总数 | 15,908 | 12,032 | -24% |
| 平均选项数 | 4 | 5.3 | +33% |
| GPT-4 得分 | 86.4% | ~72% | -14.4pp |
| 随机基线 | 25% | ~15-20% | -5-10pp |
| 人类专家表现 | 89.8% | ~85% | -4.8pp |
Gema 等人(2024)对 MMLU 的 5,700 道题进行了逐道人工审核,发现了重要的质量问题:
这意味着:超过 91% 的 MMLU 得分在统计上不再有意义——因为题目自身的错误标注率已经超过了这个阈值。
| 特征 | CMMLU | C-Eval |
|---|---|---|
| 学科数 | 67 | 52 |
| 题目总数 | ~11,500 | ~13,900 |
| 语言 | 中文 + 英文 | 纯中文 |
| 数据来源 | 教材/考试/学术 | 中国高考、考研、执考 |
| 难度分层 | 三阶(基础/中级/高级) | 四阶(入门/中级/高级/专家) |
| 中国特定学科 | 中国历史/法律/文化(20+学科) | 全领域中国化 |
| 典型模型表现(2024) | GPT-4: ~76%, Llama-3.8B: ~52% | GPT-4: ~78%, Qwen-72B: ~70% |
截至 2025 年,MMLU 面临严重的天花板效应:
MMLU 全部为四选一的选择题,这一格式存在根本性限制:
| 局限 | 具体表现 | 影响程度 |
|---|---|---|
| 无法评估生成能力 | 不能测试长文写作、代码生成、创意表达 | 严重 |
| 选项偏置 | 模型可能利用选项长度、位置等模式规律 | 中等 |
| 无多步推理 | 单题不涉及 Chain-of-Thought 推理链 | 严重 |
| 回忆而非推理 | 更多测试知识记忆而非推理能力 | 中等 |
| 选项提示效应 | 选项本身可能给出答案线索 | 轻微 |
具体示例:对于问题"What is the capital of France? (A) London (B) Berlin (C) Paris (D) Madrid",模型可能通过识别"Paris"是唯一在所有语境中都频繁出现的城市名来推断答案——这不是知识,而是统计模式匹配。
作为公开基准,MMLU 面临严重的数据污染风险:
| 污染渠道 | 风险等级 | 影响 |
|---|---|---|
| 训练数据直接包含测试题 | 极高 | 模型"记住"答案而非"理解"知识 |
| 网络爬取包含题目讨论 | 高 | 模型可能见过变体但非原题 |
| 论文中的题目示例 | 中 | 学术论文常引用部分题目作为示例 |
| 第三方评测平台的泄露 | 中 | 模型通过 API 调用的间接暴露 |
学术界已开发多种检测数据污染的方法:
研究反复证实:MMLU 高分不等于模型在实际应用中表现优秀:
| 能力维度 | MMLU 能否评估 | 更好的评估方式 |
|---|---|---|
| 多步推理 | ❌ 不能 | GSM8K, MATH, GPQA |
| 代码生成 | ❌ 不能 | HumanEval, SWE-bench |
| 工具使用 | ❌ 不能 | BFCL, ToolBench |
| 长文本理解 | ❌ 不能 | LongBench, RULER |
| 多轮对话 | ❌ 不能 | MT-Bench, Chatbot Arena |
| 安全对齐 | ❌ 不能 | AdvBench, HarmBench |
| 开放式生成 | ❌ 不能 | 人工评估, LLM-as-Judge |
鉴于 MMLU 的局限性,业界已建立更完善的评测体系:
| 基准 | 评测目标 | 形式 | 难度 | 与 MMLU 的互补性 |
|---|---|---|---|---|
| GPQA | 研究生级推理 | 多选(专家编写) | 极高 | 防止数据污染,难度远超 MMLU |
| GSM8K | 数学推理 | 开放式问答 | 中等 | 评估推理过程而非知识记忆 |
| MATH | 高等数学推理 | 开放式问答 | 高 | 系统化数学推理 |
| BBH (BIG-Bench Hard) | 复杂推理 | 多选+开放式 | 高 | 测试 23 项推理能力 |
| HumanEval | 代码生成 | 代码 | 中高 | 评估编程能力 |
| SWE-bench | 端到端软件工程 | 代码PR | 极高 | 真实软件工程任务 |
| MT-Bench | 多轮对话质量 | LLM 打分 | 中 | 评估交互能力 |
| Chatbot Arena | 人类偏好 | Elo 评分 | 多变 | 真实用户评价 |
| HLE (Humanity's Last Exam) | 极限推理 | 多选+问答 | 极高 | 精选防污染题目 |
对于严肃的模型能力评估,建议至少包含以下维度:
| 参数 | 推荐值 | 注意事项 |
|---|---|---|
| Few-Shot 数量 | 5-shot | 更少可能低估模型能力 |
| 温度 | 0 | 确保可复现的结果 |
| Prompt 模板 | 与原作者一致 | 模板差异可导致 1-3% 偏差 |
| 评估框架 | EleutherAI LM Eval Harness | 业界标准,结果可比较 |
| 报告粒度 | 整体 + 57 学科 | 学科级别更能发现问题 |
# 使用 LM Evaluation Harness 评估 MMLU
python -m lm_eval \
--model hf \
--model_args pretrained=meta-llama/Llama-3.1-8B,trust_remote_code=True \
--tasks mmlu \
--num_fewshot 5 \
--batch_size 8 \
--output_path results/mmlu_llama31_8b.json
# 使用 HELM 框架
helm-run \
--run-specs "mmlu:model=llama3.1-8b" \
--suite my-evaluation \
--max-eval-instances 15908
当看到模型厂商声称在 MMLU 上获得了某分数时,需要注意:
| 框架 | 维护方 | 支持的模型 | MMLU 实现成熟度 | 特色功能 |
|---|---|---|---|---|
| LM Eval Harness | EleutherAI | 所有 (HF/API/vLLM) | ⭐⭐⭐⭐⭐ 最成熟 | 300+ 任务,格式标准化 |
| HELM | Stanford CRFM | 主要 API + HF | ⭐⭐⭐⭐ 标准化 | 多维度评估,透明报告 |
| OpenCompass | 上海AI Lab | 所有 | ⭐⭐⭐⭐⭐ 中文友好 | 70+ 基准,中英双语 |
| UltraEval | 清华 THUKEG | 主要 HF | ⭐⭐⭐ 轻量级 | 易扩展,支持自定义 |
| lmms-eval | EvalScope | 多模态 | ⭐⭐⭐ 新兴 | 支持图文多模态 |
MMLU 是 AI 评估领域的重要里程碑,它首次提出用多学科、多任务、多难度体系来全面评估语言模型能力。在 2020-2023 年间,MMLU 准确率的快速提升清晰展现了 LLM 能力的指数级进展。然而,随着评估分数的饱和和对其局限性的认识加深,MMLU 正从"核心评测基准"转变为"基础基线评测"。
现代模型评估应当采用 MMLU + MMLU-Pro + 推理 + 代码 + 对话 + 安全 的多维评测体系,才能获得对模型能力的全面认识。MMLU 的历史贡献不可磨灭,但它已经完成了自己的使命——为之后的更高级评测铺平了道路。