评估指标设计:准确率之外的世界

任务类型决定指标选择

第一原则:先分清楚任务类型,再选指标。同一个模型在不同任务上要用不同的尺子。

指标家族一:精确匹配类

Exact Match(EM)

最朴素,最硬。预测字符串与参考完全一致才算对。

def exact_match(pred, ref):
    return pred.strip().lower() == ref.strip().lower()

适用:短答案抽取(who/when/where)、分类 label、选项题。盲区:空格、大小写、标点都会让它判 0,所以常要配合规范化。

规范化 EM

import re, string

def normalize(s):
    s = s.lower()
    s = re.sub(r"[%s]" % re.escape(string.punctuation), "", s)
    s = re.sub(r"\b(a|an|the)\b", " ", s)
    s = " ".join(s.split())
    return s

def em_normalized(pred, ref):
    return normalize(pred) == normalize(ref)

Substring Match / Contains

放宽版:预测包含参考即可。常用于"答案混在解释里"的场景。

def contains(pred, ref):
    return normalize(ref) in normalize(pred)

指标家族二:基于 n-gram 的相似度

BLEU — 机器翻译的老祖宗

BLEU(Bilingual Evaluation Understudy)计算预测中有多少 n-gram 出现在参考里,并做长度惩罚。

from sacrebleu import corpus_bleu

refs = [["the cat is on the mat", "a cat sits on a mat"]]
hyps = ["the cat sits on the mat"]
bleu = corpus_bleu(hyps, refs)
print(bleu.score)  # 例如 67.4

ROUGE — 摘要任务的主力

ROUGE(Recall-Oriented Understudy for Gisting Evaluation)和 BLEU 互补——BLEU 看 precision,ROUGE 看 recall:"参考里的 n-gram 有多少被预测命中"。

from rouge_score import rouge_scorer

scorer = rouge_scorer.RougeScorer(["rouge1", "rouge2", "rougeL"], use_stemmer=True)
scores = scorer.score(
    target="小明今天去了公园看展览",
    prediction="小明去公园看了展览",
)
print(scores["rougeL"].fmeasure)  # 约 0.73

BLEU/ROUGE 的致命盲区

指标家族三:语义相似度

BERTScore

用预训练模型(BERT/RoBERTa)做 token 嵌入,然后对齐预测与参考的 token,计算余弦相似度。解决了 BLEU/ROUGE "字面匹配" 的局限。

from bert_score import score

cands = ["猫坐在垫子上"]
refs  = ["猫躺在毯子上"]
P, R, F = score(cands, refs, lang="zh", verbose=False)
print(F.item())  # F1 约 0.93 — 语义近即使字面不同

嵌入余弦相似度

更轻量:直接用 embedding 模型算句向量余弦距离。

from openai import OpenAI
import numpy as np

client = OpenAI()

def embed(text):
    r = client.embeddings.create(model="text-embedding-3-small", input=text)
    return np.array(r.data[0].embedding)

def cosine(a, b):
    return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b)))

sim = cosine(embed("发票开具流程"), embed("如何申请发票"))
print(sim)  # 约 0.87

指标家族四:业务约束

这是常被低估的一类,但往往是生产环境最重要的。它不是"评判好坏",而是"确保没有离谱错误"。

# 硬约束的组合示例
import json
from pydantic import BaseModel, ValidationError

class TicketReply(BaseModel):
    category: str
    urgency: int  # 1-5
    reply: str

def validate_reply(raw: str) -> dict:
    results = {}
    # 1. JSON 合法
    try:
        obj = json.loads(raw)
        results["json_valid"] = True
    except json.JSONDecodeError:
        results["json_valid"] = False
        return results
    # 2. Schema 合法
    try:
        t = TicketReply.model_validate(obj)
        results["schema_valid"] = True
    except ValidationError:
        results["schema_valid"] = False
        return results
    # 3. 业务规则
    results["urgency_in_range"] = 1 <= t.urgency <= 5
    results["reply_length_ok"] = 20 <= len(t.reply) <= 500
    results["no_competitor"] = "竞品名" not in t.reply
    return results

指标家族五:LLM-as-Judge

用另一个更强的模型给输出打分。第 4 章会单独深讲,这里只给全貌:

• Pointwise — 给一个回答打 1-5 分(或 rubric 各维度分)
• Pairwise — A/B 哪个更好
• Reference-based — 对照黄金答案判对错
• Reference-free — 只看问题和答案,判"好不好"

组合策略:软指标 + 硬约束

一个成熟的 eval 系统通常长这样:

一个完整的指标卡例子

客服回复任务的指标卡(Scorecard):

本章小结

下一章:Golden Dataset 方法论——再好的指标打在错的数据上也是白打。