信息技术大学
提示工程与评估
AI 与大模型·算法岗面试 · 第 6 章 RAG 与 Agent
按 空格/→ 演示下一步
全部页面点击任意一页，跳回舞台从这页播放
信息技术大学
提示工程与评估
AI 与大模型·算法岗面试 · 第 6 章 RAG 与 Agent
思维链 CoT 与少样本提示
让模型「先想后答」：示例示范格式，思维链把中间推理显式化。
少样本
prompt 内放示例，模型模仿格式与口径
CoT
逐步推理显著提升数学与逻辑题正确率
零样本 CoT
一句「一步一步想」也有可观收益
幻觉成因与缓解
幻觉是流畅的编造：训练目标是「像」不是「对」，知识盲区硬答就翻车。
成因
知识缺失、训练噪声、采样随机、诱导性提问
检索接地
RAG 提供依据，答案有据可查
生成侧
允许说不知道、要求引用来源、低温度
评测基准（MMLU/C-Eval 等
考卷定能力：MMLU 学术综合，C-Eval 中文科目，GSM8K 数学推理。
综合知识
MMLU、C-Eval 覆盖多学科选择题
推理
GSM8K、MATH 考数学推理能力
污染警惕
考题混进训练集分数虚高，需动态题库
LLM as Judge
用模型评模型：成对比较比绝对打分可靠，位置偏差与自偏好要防。
成对比较
A/B 输出选偏好，比绝对打分稳定
已知偏差
偏爱先答位置、偏爱长答案、自家族偏好
定位
大规模初筛可用，关键结论人工复核
本节要点
- ✓CoT 显式推理，少样本定格式
- ✓幻觉：检索接地加允许说不知道
- ✓基准看能力面，警惕数据污染
- ✓LLM 评审：成对比打分，防偏差
延伸主题：为场景写一个 CoT prompt做一次小规模模型评审
课后思考
先自己回答，再展开参考答案——能讲出来才算真懂。
1思维链为什么能提升推理准确率？
参考答案Transformer 单次前向的计算深度有限；CoT 把中间步骤写成 token，等于用生成时间换思考时间——复杂计算被拆成多步，每步更简单更可靠。
2温度参数与幻觉有什么关系？
参考答案高温采样增加多样性也放大随机编造，事实型问答低温更稳。但根治不在温度：知识缺失时低温同样幻觉，检索接地与允许拒答才是本。
3LLM as Judge 的结论能直接采信吗？
参考答案大规模筛选可以，关键决策不行。它继承模型的系统性偏差（长度偏好、风格偏好），做法是随机交换候选位置消偏差，并抽样人工校准一致性。