1.5 使用 RAG 的優勢
RAG 好在哪裡,以及它不是萬靈丹的地方。
RAG 的價值不只是讓答案「看起來更有資料」。它改變了知識進入系統的方式,也讓更新、查證和權限管理變得比較實際。不過它只處理資訊取得的問題,不會自動修好所有模型錯誤。
優勢
資訊可以保持最新
知識存在外部資料庫,不在模型裡。有新資訊的時候,更新資料庫就好,不需要重新訓練模型。這直接解決了「知識截止」的問題。
回答更有根據,幻覺比較少
模型回答時手上有真實的參考資料,比起憑空猜測,準確度會高很多。同時也可以在提示詞裡要求「只根據提供的資料回答,資料裡沒有就說不知道」,進一步降低亂編的機率。
可以追溯來源
因為知道答案是根據哪幾段內容產生的,系統可以把出處一起顯示出來,使用者想查證時可以直接去看原文。這在需要引用的場合,例如學術、法律、醫療,特別有價值。
能用私有和專業的資料
公司內部文件、個人筆記、最新論文,這些都可以放進知識庫。而且資料只是在回答時被當成上下文帶進去,不需要交給模型廠商去訓練,保密上比較安心。
成本相對低
不用為了新知識重新訓練模型,省下大量算力和時間。想換更強的模型時,知識庫通常也不用重做,直接沿用。
可以控制誰能看到什麼
因為檢索是獨立的一步,可以在這一步就依照使用者的權限過濾資料,沒有權限的內容根本不會被送進模型。
但它不是萬靈丹
誠實講,RAG 也有它的限制:
- 只是減少幻覺,不是消除。 模型還是可能誤解資料、忽略找到的內容,或是把資料和自己的記憶混在一起。
- 檢索壞了,答案就壞了。 找來的資料不相關,模型就只能照著不相關的資料回答,甚至講出更離譜的東西。
- 要調的地方變多。 怎麼分塊、用哪個嵌入模型、一次找幾段、提示詞怎麼寫,每一項都會影響結果。
- 多了延遲和成本。 每次回答前多一次檢索,提示詞也變長了,速度會慢一點、用量會多一點。
這些代價不代表 RAG 不值得做,只是不能把「接上向量資料庫」當成完成。檢索品質、資料更新和生成結果都必須另外驗證。