第 6 章：RAG 系統的評估與改進
系統搭起來之後，怎麼知道它好不好、哪裡壞了，以及怎麼一步步改進。
能跑的 RAG 不等於好的 RAG。一個檢索到不相關資料、或是回答和資料不符的系統，用起來反而有害。這一章講怎麼把「好不好」變成可以量的東西，再依據量到的結果去改進，而不是憑感覺亂調。
你會學到
01為什麼評估 RAG 比評估一般程式難
02怎麼量檢索：Hit Rate 和 MRR
03怎麼量生成：忠實度和切題度
04常見的故障模式和排查順序
05改進的基本策略，以及怎麼驗證有沒有變好
7 篇，照順序讀
01
→6.1 評估 RAG 的挑戰
為什麼「感覺不錯」不夠，以及 RAG 的評估難在哪裡。
02
→6.2 組件層面的評估：檢索
用 Hit Rate、MRR 等指標，衡量檢索器有沒有把對的資料找出來。
03
→6.3 組件級別評估：生成
檢索找對了，模型有沒有照著資料回答、回答得切不切題。
04
→6.4 端到端 RAG 評估框架
把檢索、生成放在一起看，建立一個可以重複執行的評估流程。
05
→6.5 常見故障模式
RAG 常見的出錯方式，依流程的順序整理，以及怎麼判斷問題出在哪裡。
06
→6.6 改進的基本策略
從資料、檢索、提示詞各個環節，整理可以嘗試的改進方向，以及怎麼驗證有沒有用。
07
→6.7 實踐：分析 RAG 輸出品質
用一份小測試集，實際計算檢索的 Hit Rate 和 MRR，並分析「找不到」門檻的取捨。