全面解析大语言模型(LLM)的评估体系,涵盖学术基准测试、自动化评估指标、人工评估方法、LLM-as-a-Judge 范式以及幻觉检测等核心主题。
模型评估是 AI 开发流程中不可或缺的一环。没有系统的评估,就无法判断模型的真实能力、定位改进方向,也无法在生产环境中建立对模型的信任。LLM 评估面临的核心挑战在于:生成式 AI 的输出是开放的、非结构化的,传统的分类/回归评估指标(如准确率、F1)无法直接适用。
一个好的 LLM 评估框架应当回答以下问题:
LLM 评估从方法论上可以分为三个层次:
模型评估本身也在不断进化。从最早的语言模型困惑度(PPL),到 NLP 时代的 BLEU/ROUGE,再到 LLM 时代的基准测试套件和 AI Judge 范式,评估方式的演进直接反映了 AI 技术本身的发展:
MMLU 是目前最广泛使用的综合知识评估基准,涵盖 57 个学科领域,包括人文、社科、理工、医学、法律等,共约 15,000 道多项选择题。每个问题有 4 个选项,模型需要选择正确的答案。
MMLU 的设计核心理念是评估模型的广域知识储备和跨领域推理能力。由于 GPT-4 在 2023 年就将 MMLU 推到了 86-87% 的准确率,后续版本 MMLU-Pro 做了两项关键改进:
这使得模型在新版 MMLU-Pro 上的准确率相比原版下降了 16%-33%,重新拉开了区分度。
评估方式:通常使用 5-shot(5个示例)的上下文学习方式,计算平均准确率。
| 模型 | MMLU(5-shot) | MMLU-Pro | 差距 |
|---|---|---|---|
| GPT-4(2023) | 86.4% | 55.2% | -31.2% |
| GPT-4 Turbo | 87.5% | 60.8% | -26.7% |
| Claude 3.5 Sonnet | 88.7% | 65.4% | -23.3% |
| Gemini 1.5 Pro | 85.9% | 58.7% | -27.2% |
| DeepSeek-V3 | 89.5% | 68.2% | -21.3% |
| Qwen3-72B | 88.2% | 63.1% | -25.1% |
| LLaMA-3 70B | 82.0% | 48.5% | -33.5% |
从上表可以看出,MMLU-Pro 确实大幅增加了难度,尤其是在 70B 参数级别的开源模型上,降幅最为显著(-33.5%)。这也说明 MMLU 在顶级模型上已经接近饱和,需要更难的基准来区分能力差异。
以下是一个典型的 MMLU 问题(物理学领域):
Question: A 2 kg object is moving at 3 m/s. What is its kinetic energy?
A) 3 J
B) 6 J
C) 9 J
D) 12 JAnswer: C) 9 J(因为 J)
而在 MMLU-Pro 中同一概念会变成 10 选 1,且选项之间更接近,增加了区分难度。
GSM8K 专注于小学数学应用题,包含 8,500 道高质量的人工标注题目。每道题需要模型进行多步推理才能得出答案。GSM8K 的评估不仅看最终答案是否正确,还关注推理过程是否合理。
评估方式:使用 8-shot 或少样本提示,以最终答案匹配和推理链质量作为评分依据。
GSM8K 是衡量模型数学推理能力的核心基准。在 2023-2024 年间,GPT-4 在该基准上达到 92% 准确率,而当时的开源模型普遍在 50-70% 之间。到 2025 年,随着 DeepSeek-V3、Qwen3、GLM-5 等模型的出现,开源模型也已逼近或超越 95%。
| 模型 | 年份 | GSM8K 准确率 | CoT 效果提升 |
|---|---|---|---|
| GPT-3.5 | 2022 | 57% | baseline |
| LLaMA-65B | 2023 | 63% | +12% with CoT |
| GPT-4 | 2023 | 92% | +8% with CoT |
| CodeLLaMA-34B | 2024 | 74% | +15% with CoT |
| DeepSeek-V2 | 2024 | 91% | +5% with CoT |
| DeepSeek-V3 | 2025 | 96% | +2% with CoT |
| Qwen3-72B | 2025 | 95% | +3% with CoT |
Problem: Janet's ducks lay 16 eggs per day. She eats three for breakfast every morning and bakes muffins with four every day. She sells the remaining eggs at the farmer's market for $2 per dozen. How much money does she make per day at the farmer's market?
Chain-of-Thought Reasoning:
- 总产蛋量:每天 16 个
- 自用:早餐 3 个 + 烘焙 4 个 = 7 个
- 剩余可卖:16 - 7 = 9 个
- 价格:每打(12个)$2
- 收入:$2 \times (9 \div 12) = $2 \times 0.75 = $1.50
Answer: $1.50
这种多步推理能力是 GSM8K 评估的核心:模型不仅需要理解问题,还需要精确执行每一步运算。
HumanEval 是 OpenAI 发布的代码生成基准测试,包含 164 道手写的编程题目。每道题包含函数签名、文档字符串和多个测试用例。评估方式是让模型生成完整的函数实现,然后运行测试用例来验证正确性。
与传统的代码生成评估不同,HumanEval 强调功能正确性而非语法匹配——模型生成的代码必须通过所有隐含测试才能算作正确。这使其成为衡量模型编程能力的黄金标准。
后续扩展版本 HumanEval+ 增加了测试用例数量以降低过拟合风险。
def find_missing(arr: List[int]) -> int:
"""Find the missing number in an array of length n-1
containing numbers from 1 to n.
>>> find_missing([1, 2, 4, 5, 6])
3
>>> find_missing([2, 3, 4, 5])
1
"""
期望的模型输出:
def find_missing(arr):
n = len(arr) + 1
expected_sum = n * (n + 1) // 2
actual_sum = sum(arr)
return expected_sum - actual_sum
| 模型 | HumanEval pass@1 | HumanEval+ pass@1 | 变化 |
|---|---|---|---|
| GPT-4 | 87.2% | 78.5% | -8.7% |
| Claude 3.5 Sonnet | 92.0% | 84.2% | -7.8% |
| Gemini 1.5 Pro | 84.1% | 72.3% | -11.8% |
| DeepSeek-Coder-V2 | 90.2% | 82.1% | -8.1% |
| Qwen3-Coder-72B | 88.5% | 80.0% | -8.5% |
| 基准名称 | 评估领域 | 问题形式 | 题数 | 说明 |
|---|---|---|---|---|
| HellaSwag | 常识推理 | 句子补全(4选1) | 10,042 | 从多个选项中选出最合理的句子结尾 |
| TruthfulQA | 事实准确性 | 问答题 | 817 | 测试模型生成真实、无偏见回答的能力 |
| ARC Challenge | 科学推理 | 多项选择 | 2,590 | 小学到高中难度的科学问题 |
| Big-Bench | 综合能力 | 多种形式 | 204 tasks | 200+ 任务的超大套件,涵盖推理、数学、阅读 |
| SWE-bench | 软件工程 | 代码补丁 | 2,294 | 用真实 GitHub Issue 评估模型修复代码的能力 |
| GPQA | 研究生级科学 | 多项选择 | 448 | 博士级别难度的物理、化学、生物问题 |
| HLE | 极限推理 | 多种形式 | 500+ | 由 500+ 专家协作设计的最难测试集 |
| Chatbot Arena | 综合能力 | Elo 评分 | 持续 | 匿名盲测的众包竞技场 |
不同的基准测试评测不同维度的能力,理解这个矩阵有助于选择合适的评估组合:
| 能力维度 | MMLU | GSM8K | HumanEval | HellaSwag | TruthfulQA | SWE-bench |
|---|---|---|---|---|---|---|
| 知识广度 | ★★★★★ | ★ | ★ | ★★ | ★★ | ★ |
| 数学推理 | ★★ | ★★★★★ | ★★ | ★ | ★ | ★★ |
| 代码生成 | ★ | ★★ | ★★★★★ | ★ | ★ | ★★★★★ |
| 常识推理 | ★★★ | ★★ | ★ | ★★★★★ | ★ | ★★ |
| 事实准确性 | ★★★ | ★ | ★ | ★★ | ★★★★★ | ★★★ |
| 多步推理 | ★★★ | ★★★★★ | ★★★★ | ★★ | ★★★ | ★★★★★ |
| 对抗鲁棒性 | ★ | ★ | ★★ | ★★★★★ | ★★★★ | ★★ |
自动化指标通过数学公式计算模型输出与参考文本的相似度,适合大规模、低成本的快速评估。
BLEU(Bilingual Evaluation Understudy)
BLEU 最初为机器翻译设计,通过计算候选文本和参考文本的 n-gram 重叠度来评分。计算公式为:
其中 是 n-gram 精确率, 是权重(通常均匀分布),BP 是长度惩罚因子(brevity penalty),用于惩罚过短的输出。
BLEU 与人类判断的相关性分析
尽管 BLEU 广泛应用于机器翻译评估,它与人类判断的相关性存在局限性:
| n-gram 阶数 | BLEU 子分数 | 含义 | 与人类判断的相关性 |
|---|---|---|---|
| 1-gram | BLEU-1 | 单词匹配 | 0.35-0.45 |
| 2-gram | BLEU-2 | 二元组匹配 | 0.40-0.50 |
| 3-gram | BLEU-3 | 三元组匹配 | 0.42-0.52 |
| 4-gram | BLEU-4 | 四元组匹配 | 0.38-0.48 |
数据来源:Callison-Burch et al. (2006) 对 WMT 翻译任务的研究
ROUGE(Recall-Oriented Understudy for Gisting Evaluation)
ROUGE 主要评估摘要任务,关注召回率——参考文本中的信息被模型覆盖了多少。最常用的变体是 ROUGE-L,它基于最长公共子序列(LCS)计算。
其中 和 分别是基于 LCS 的精确率和召回率, 控制两者的相对权重(通常 即 F1 分数)。
ROUGE 计算的数值实例:
假设参考摘要为 "猫坐在垫子上",模型生成为 "猫在垫子上坐着":
| 指标 | 计算方式 | 结果 |
|---|---|---|
| ROUGE-1(unigram 召回) | 参考中的 5 个词中模型命中了 4 个 | 0.80 |
| ROUGE-2(bigram 召回) | 参考中的 4 个二元组中命中了 2 个 | 0.50 |
| ROUGE-L(LCS 召回) | 最长公共子序列为 "猫 垫子 上"(3/5) | 0.60 |
| ROUGE-L(LCS F1) | 精确率 3/5 × 召回率 3/5 的调和平均 | 0.60 |
METEOR
METEOR 是对 BLEU 和 ROUGE 的改进,引入了同义词匹配、词干化和精确匹配的加权组合。它更接近人类判断,尤其在翻译和摘要任务中。
METEOR 的核心公式:
其中 是 unigram 精确率和召回率的调和平均,Penalty 基于匹配块的数量计算惩罚因子。
Perplexity(困惑度)
Perplexity 是评估语言模型最基本的指标,衡量模型对数据分布的拟合程度。对于测试序列 ,困惑度定义为:
困惑度越低说明模型对数据的预测越准确。但困惑度与生成质量并不完全正相关——一个困惑度很低的模型可能只会生成安全但缺乏创意的内容。
典型模型的困惑度对比(在 Wikipedia 测试集上):
| 模型 | 参数量 | PPL(WikiText-2) | 训练数据量 |
|---|---|---|---|
| GPT-2 | 1.5B | 35.7 | 40GB |
| GPT-3 | 175B | 20.5 | 570GB |
| LLaMA-7B | 7B | 10.2 | 1T tokens |
| LLaMA-65B | 65B | 7.5 | 1.4T tokens |
| DeepSeek-V2 | 236B | 6.8 | 8T tokens |
| DeepSeek-V3 | 671B | 5.2 | 14.8T tokens |
注意:困惑度只能在相同分词器(tokenizer)和测试集下直接比较,不同模型的困惑度数值没有可比性。
BERTScore
BERTScore 利用 BERT 的上下文嵌入来计算生成文本和参考文本之间的语义相似度,而不是字面匹配。它能够捕捉同义词、改写等语义等价关系,比 n-gram 指标更接近人类判断。
其中 和 分别通过候选和参考文本中的每个 token 在对方文本中找到最相似 token 来计算。
| 评估维度 | n-gram 指标(BLEU/ROUGE) | 语义指标(BERTScore/BLEURT) |
|---|---|---|
| 语义理解 | ❌ 仅字面匹配 | ✅ 上下文嵌入捕捉语义 |
| 同义词处理 | ❌ "big" ≠ "large" | ✅ "big" ≈ "large" |
| 句子结构 | ✅ 惩罚语序错误 | ✅ 灵活处理语序变化 |
| 计算效率 | ✅ 极快,无模型推理 | ❌ 需要加载 BERT 模型推理 |
| 与人类评分相关性 | 0.25-0.45 | 0.35-0.55 |
| 对参考质量依赖 | 高 | 中 |
| 跨语言适用性 | ❌ 需语言分词器 | ✅ 多语言嵌入 |
尽管自动化评估速度快、成本低,但人类判断仍然是评估生成质量的黄金标准。尤其是在开放生成任务中,只有人类才能判断内容的真实有用性、流畅度和安全性。
Chatbot Arena 是目前最具影响力的人工评估平台,由 LMSYS 组织构建。其运作方式如下:
Chatbot Arena 的 Elo 排名被业界视为最接近真实的人类偏好判断。
其中 和 是模型当前的 Elo 分数, 是模型 A 获胜的期望概率。对战后的分数更新为:
其中 是实际结果(胜=1,负=0,平=0.5), 是权重因子(通常为 32)。
Elo 分数计算示例:
假设模型 A 当前 Elo = 1200,模型 B 当前 Elo = 1100:
可见,低概率获胜(爆冷)会给低分模型带来更大的分数提升。
| 评估维度 | 说明 | 评分方式 | 典型应用场景 |
|---|---|---|---|
| 帮助性(Helpfulness) | 回答是否有效解决了用户问题 | Likert 1-5 | 通用对话 |
| 真实性(Truthfulness) | 回答中的事实是否准确 | 二元 / Likert | 知识问答 |
| 无害性(Harmlessness) | 是否包含有害、歧视、不当内容 | 二元 | 安全审核 |
| 流畅性(Fluency) | 语言是否自然、语法是否正确 | Likert 1-5 | 翻译、摘要 |
| 一致性(Coherence) | 逻辑是否自洽、前后是否一致 | Likert 1-5 | 长文本生成 |
| 指令遵循(Instruction Following) | 是否严格遵循用户指令 | 二元 / 1-5 | Agent 任务 |
| 创造性(Creativity) | 在开放创作任务中的表现 | Likert 1-5 | 写作、代码 |
| 评估方式 | 每 1000 个样本成本 | 耗时 | 可扩展性 | 与真实质量的相关性 |
|---|---|---|---|---|
| n-gram 自动化指标 | ~$0 | 秒级 | ★★★★★ | 0.25-0.45 |
| 基于模型指标(BERTScore) | ~$2-5 | 分钟级 | ★★★★ | 0.35-0.55 |
| LLM-as-a-Judge(GPT-4) | ~$10-30 | 小时级 | ★★★ | 0.50-0.65 |
| 众包人工标注 | ~$100-500 | 天级 | ★★ | 0.60-0.75 |
| 专家人工评估 | ~$500-2000+ | 周级 | ★ | 0.75-0.85 |
随着 GPT-4 等强大模型的普及,"用 LLM 评估 LLM"(LLM-as-a-Judge)成为一个重要的新范式。该方法利用强大模型(如 GPT-4、Claude)作为裁判,对目标模型的输出进行质量评分。
评估提示词示例(G-Eval 风格):
你是一个专业的 AI 评估助手。请从以下维度评估模型的回答:
【用户问题】
{question}
【模型回答】
{response}
【评估维度:帮助性】
1分 - 完全不相关或有害
2分 - 部分相关但缺乏实质内容
3分 - 基本回答了问题,但不够深入
4分 - 回答良好,提供了有价值的见解
5分 - 回答出色,深入全面且实用
请逐步思考:
1. 该回答是否直接回应用户的问题?
2. 回答的准确性和深度如何?
3. 回答是否提供了额外价值?
评分(1-5分):
理由:
G-Eval:使用 GPT-4 在思维链(Chain-of-Thought)提示下进行逐步评估,先分析回答在多个维度上的表现,再给出 1-5 分的评分。研究表明 G-Eval 与人类判断的相关性达到 0.5-0.6,接近人类标注者之间的一致性水平。
Prometheus:一个专门为评估任务微调的开源模型,可替代 GPT-4 作为裁判。它使用自定义评分标准(rubric)进行评分,在多种任务上达到接近 GPT-4 的评估质量。
QAG Score:基于"问答生成"的评估方法,先从模型的回答中提取关键事实,然后生成针对这些事实的问题,再检查模型回答是否能正确回答这些问题。这种方式间接评估回答的事实准确性。
SelfCheckGPT:针对幻觉检测的方法,对同一 prompt 进行多次采样,然后检查不同采样结果之间的一致性。如果多次采样的关键事实不一致,则很可能存在幻觉。这种方法不需要参考文本,适合开放域生成。
| 方法 | 是否需要参考 | 评估维度 | 与人类相关性 | 适用场景 |
|---|---|---|---|---|
| G-Eval | ❌ 可选 | 单维/多维 | 0.50-0.60 | 通用文本质量 |
| Prometheus | ✅ 评分标准 | 多维 | 0.45-0.55 | 定制评估 |
| QAG Score | ✅ 参考文本 | 事实性 | 0.55-0.65 | 摘要忠实度 |
| SelfCheckGPT | ❌ 不需要 | 一致性 | 0.40-0.50 | 幻觉检测 |
| Pairwise Comparison | ❌ 对比 | 偏好 | 0.55-0.70 | 模型对比 / Arena |
| Rubric-based | ✅ 评分表 | 多维 | 0.50-0.65 | 教育评估 / 写作评分 |
缓解方案:使用多轮位置交换(先 A 后 B 和先 B 后 A 各评一次)、引入 Chain-of-Thought 评估、使用多个裁判模型投票。
幻觉(Hallucination)是指模型生成看起来合理但实际上错误的信息。这是 LLM 走向实际应用的最大障碍之一。
| 类型 | 描述 | 示例 |
|---|---|---|
| 事实性幻觉 | 与客观事实矛盾 | 声称"多伦多是加拿大首都"(实为渥太华) |
| 指令不一致 | 偏离用户意图 | 用户要求总结,模型进行扩展 |
| 上下文不一致 | 与提供的上下文矛盾 | 忽略用户提供的文档内容,编造不存在的信息 |
| 逻辑不一致 | 推理步骤内部矛盾 | 前提 A→B,结论却非 B |
FAITHSCORE:评估生成文本是否忠实于源文本。通过将生成文本分解为原子声明(atomic claims),逐一检查每个声明是否被源文本支持。得分范围为 0-1。
计算示例:
假设模型基于 Wikipedia 关于"机器学习"的文章生成了以下摘要:
机器学习是人工智能的一个子领域(✅ 被源文本支持)。它由 Arthur Samuel 在 1959 年首次定义(✅ 被支持)。机器学习的核心算法包括决策树、支持向量机和深度信念网络(✅ 被支持)。深度学习在 2012 年的 ImageNet 竞赛中取得了突破(✅ 被支持)。目前最先进的机器学习模型已经达到了人类水平的通用智能(❌ 未被源文本支持——这是有争议的说法)。
FAITHSCORE = 4/5 = 0.80
Object Hallucination:在多模态模型中,评估生成的描述中包含的对象是否在图像中实际存在。典型指标包括 CHAIRi(在出现对象中的幻觉比例)和 CHAIRs(在生成句子中包含幻觉的比例)。
2026 年发表在 Nature 上的研究(Kalai et al., 2026)揭示了一个关键洞察:以准确性评估大语言模型会激励幻觉。研究指出:
这一研究将幻觉问题从模型缺陷重新定义为激励机制问题,为评估体系设计提供了全新视角。
| 维度 | 文本幻觉 | 视觉/多模态幻觉 |
|---|---|---|
| 表现形式 | 编造事实、计算错误、逻辑矛盾 | 描述图像中不存在的物体、位置错误 |
| 检测难度 | 需要外部知识验证 | 可人工判断图像内容 |
| 主要检测方法 | FAITHSCORE、SelfCheckGPT | CHAIR、POPE |
| 典型比率 | 5-25%(视任务难度) | 15-35%(在复杂场景中) |
| 缓解策略 | RAG 检索增强、CoT 推理 | 视觉 grounding、注意力正则化 |
由 EleutherAI 维护的标准评估框架,支持 60+ 学术基准测试。提供统一的模型接口和评估流程:
# 在 MMLU 和 GSM8K 上评估 LLaMA-2-7B
lm-eval --model hf \
--model_args pretrained=meta-llama/Llama-2-7b-hf,dtype=bfloat16 \
--tasks mmlu,gsm8k \
--num_fewshot 5 \
--output_path results/llama2-7b-eval.json
特点:支持 HuggingFace 模型、vLLM 部署模型、OpenAI API 兼容模型,结果可复现(use_cache=True)。
面向 RAG 和 Agent 评估的框架,提供面向应用的评估指标:
由斯坦福 CRFM 维护的综合评估框架,倡导从 7 个维度全面评估:准确性、校准度、鲁棒性、公平性、偏见、毒性和效率。每个模型在 40+ 场景上的表现都有详细记录。
HuggingFace 维护的开源模型排行榜,基于 lm-evaluation-harness 运行标准评测。2025 年更新的 v2 版本使用更严格的多项选择格式,大幅降低了数据污染的影响。
HuggingFace 的评估指南(evaluation-guidebook)总结了大量实践经验:
评估设计的"不要"清单:
评估的七大维度:
| 维度 | 定义 | 典型指标 | 评估方法 |
|---|---|---|---|
| 1. 准确性 | 模型输出是否与事实一致 | MMLU、TruthfulQA | 基准测试 |
| 2. 校准度 | 模型对自身能力的认知准确度 | Expected Calibration Error(ECE) | 置信度分析 |
| 3. 鲁棒性 | 输入微小变化时输出的稳定性 | 对抗攻击成功率 | 输入扰动测试 |
| 4. 公平性 | 模型对不同群体是否存在偏见 | 群体间性能差异 | 公平性审计 |
| 5. 安全性 | 模型是否拒绝有害请求 | 有害请求拒绝率 | 红队测试 |
| 6. 透明度 | 评估过程和结果是否可复现 | 代码+数据+种子公开度 | 文档审计 |
| 7. 效率 | 推理速度和资源消耗 | tokens/s、内存占用 | 性能基准 |
校准度衡量模型的置信度与实际准确率之间的匹配程度。一个校准良好的模型应该在说"我有 90% 把握"的时候确实有 90% 的正确率。
Expected Calibration Error(ECE) 是最常用的校准度指标:
其中将 [0, 1] 区间均匀分成 个桶(通常 ), 是落在第 个桶中的样本, 是这些样本的平均准确率, 是平均置信度。
ECE 示例:如果有 100 个预测,其中 10 个模型给出了 90-100% 的置信度但只有 7 个正确(准确率 70%),这部分就贡献了 ECE 中的 。
| 模型 | 参数量 | ECE(越小越好) | 过度自信程度 |
|---|---|---|---|
| OPT-125M | 125M | 0.12 | 略低估 |
| OPT-1.3B | 1.3B | 0.08 | 轻度低估 |
| OPT-6.7B | 6.7B | 0.06 | 较准 |
| OPT-13B | 13B | 0.10 | 略过度自信 |
| OPT-66B | 66B | 0.18 | 显著过度自信 |
| GPT-4 | ~1.7T | 0.05 | 较准(RLHF 后) |
数据来源:基于 MMLU 任务的校准度分析(Kadavath et al., 2022; OpenAI, 2023)
关键发现:更大的模型不一定更校准。未经 RLHF 对齐的模型,随着参数增加反而更可能出现过度自信。RLHF 对齐过程显著改善了校准度。
在实际的 AI 应用中,评估不应该只是一个"一次性"步骤,而应该嵌入到持续集成/持续交付(CI/CD)流水线中。
| 层级 | 频率 | 执行者 | 覆盖范围 | 成本 |
|---|---|---|---|---|
| 第一层:单元评估 | 每次 commit | CI 流水线 | 关键基准子集 + 安全测试 | 极低($0-5/次) |
| 第二层:综合评估 | 每周 | CI 流水线 | 全量基准 + 幻觉扫描 | 低($10-50/次) |
| 第三层:人工评估 | 每月/发布前 | 人类专家 | 盲测 + 领域审核 | 高($500-2000/次) |
| 指标类别 | 具体指标 | 监控方式 | 告警阈值 |
|---|---|---|---|
| 响应质量 | 用户满意度评分 | 端上反馈收集 | < 4.0/5.0 |
| 响应质量 | 回答拒绝率 | 日志分析 | > 15% |
| 响应质量 | 用户重问率 | 会话分析 | > 20% |
| 性能 | P50 延迟 | APM 监控 | > 2s |
| 性能 | P99 延迟 | APM 监控 | > 8s |
| 安全 | 有害内容触发率 | 内容审核 | > 0.1% |
| 安全 | 幻觉检测率 | LLM-as-a-Judge | > 5% |
| 成本 | 每千次推理成本 | 账单分析 | 超出预算 |
在我自己的 OpenClaw 和 Wiki 项目中,评估分为两条线:
一、模型选型评估:在决定使用哪个模型时,不是只看 MMLU 分数,而是走"真实场景验证"路线:
这样远比看排行榜数字更靠谱,因为基准测试的数据分布可能与实际场景完全不同。
二、应用层 Agent 评估:对于 Agent 类应用(如我的知识库助手),核心评估指标不是"回答好不好",而是任务完成率——Agent 是否成功调用了正确的工具、获取了正确的信息、输出了可用的结果。
经验教训:
AI Agent 正在从"对话式"向"行动式"演进。相应地,评估方式也在变化:
这些新基准不再关注"生成的文本质量",而是关注任务是否被成功完成。
| 时间 | 趋势 | 描述 | 代表项目/组织 |
|---|---|---|---|
| 2024-2025 | Agentic Evaluation | 从文本质量转向任务完成度 | SWE-bench、MLE-Bench |
| 2024-2025 | 评估标准化 | 统一评估流程和报告格式 | HELM、OpenEvals |
| 2025-2026 | 评估经济 | 评估成为一个独立的经济领域 | 各类评估 SaaS 服务 |
| 2025-2026 | 持续评估 | 评估嵌入到 CI/CD 流水线 | 各类 ML 平台 |
| 2026-2027 | 多模态评估 | 视觉+文本+代码的联合评估 | VLM-Eval 体系 |
| 2026-2027 | 实时安全监控 | 生产环境的实时行为检测 | 安全评估平台 |
随着 AI 应用的爆发,评估正在成为一个独立的经济领域——"评估经济"(Evaluation Economy)。评估服务、评估数据标注、评估框架 SaaS 等正在快速增长。评估不再是质量保障部门的事,而是产品团队、数据团队、工程团队的日常协作环节。
生产的模型需要持续的在线监控:
模型评估是一个多层次、多方法的系统工程。没有万能的黄金指标,只有适合特定场景的评估组合。
关键原则:
| 场景 | 推荐方法 | 优先级 | 参考预算 |
|---|---|---|---|
| 快速迭代(每次 commit) | 单元测试 + 关键基准子集 | 1 | ~$0 |
| 模型对比选型 | 完整基准套件 + LLM-as-a-Judge | 2 | ~$20-50 |
| 发布前全面验证 | 全量自动评估 + 专家人工评估 | 3 | ~$500-2000 |
| 生产环境持续监控 | A/B 测试 + 质量漂移监控 | 4 | ~$100-500/月 |
| 安全合规审计 | 红队测试 + 第三方审核 | 5 | ~$5000+ |
| 学术/榜单提交 | 标准基准 + 可复现实验 | 6 | ~$100-500 |
此页面为 AI 知识体系 的一部分,内容持续更新中。