AI 自動化約 7 分鐘閱讀
RAG 是什麼?一個生活化比喻
想像你聘了一個聰明但對你公司一無所知的新助理(這就是 ChatGPT 或 Claude)。你問他「我們公司的退貨流程是什麼?」,他只能憑通用知識亂答。
RAG 的做法是:在這個助理回答前,先讓他到你公司的文件櫃裡「查」相關資料 — 找到「退貨政策.pdf」、「客服 SOP.docx」、「退款流程.md」— 然後用這些文件當依據回答。回答的同時還能告訴你「這個答案來自哪份文件的第幾頁」。
技術名稱拆開來看:Retrieval(檢索)= 從向量資料庫找到相關文件;Augmented(增強)= 把找到的文件當作上下文塞進 prompt;Generation(生成)= 讓 LLM(大語言模型)用這些上下文生成答案。
RAG 跟 Fine-tuning 差在哪?什麼時候用哪個?
兩者都是讓 AI「懂你公司」的方法,但差別很大:
- RAG = 給 AI 一本可以隨時翻的字典。文件更新只要重新上傳到向量資料庫,AI 馬上能查到。成本低、彈性高、適合「資料常變動」的場景(產品手冊、客服 FAQ、SOP)。
- Fine-tuning = 重新訓練 AI 的「直覺」。把你的資料融進模型本身的權重。優點是回答更自然、不需檢索步驟;缺點是訓練貴、資料更新要重新訓練、無法引用來源。
- 90% 的中小企業需求用 RAG 就夠。Fine-tuning 適合「需要特殊語氣風格」或「資料完全不變動」的場景(例如品牌 Slogan 生成器、特定產業專業術語翻譯)。
什麼場景適合導入 RAG?
RAG 在以下場景效果最好:
- 內部知識庫問答:新員工問 SOP、業務問產品規格、客服查歷史案例 — 把公司文件丟進 RAG,省掉問人的時間。
- 客服 / 售前機器人:把產品手冊 + FAQ + 退換貨政策灌進 RAG,AI 客服能精準回答「我這款產品保固多久」、「能不能改地址」這類具體問題。
- 業務助理:把過往客戶往來信件、合約、報價歷史放進 RAG,業務問「客戶 A 上次買什麼、有沒有抱怨過什麼」立刻有答案。
- 法規/合約查詢:法務、HR、財會把法規文件放進 RAG,問「員工請特休的規定是什麼」直接拿到答案 + 出處引用。
RAG 系統的核心架構(不寫程式也能懂)
一個典型的 RAG 系統有 4 個元件:
- 文件切片器(Chunker):把你的 PDF、Word、Notion 文件切成 200-500 字的小段落。
- Embedding 模型:把每個小段落轉成一串數字(向量)— 這串數字代表這段話的「語意座標」。
- 向量資料庫:儲存這些向量。常用的有 Pinecone、Weaviate、Qdrant、Chroma。
- LLM(大語言模型):負責讀取找到的文件、生成最終答案。可以用 OpenAI(ChatGPT)、Anthropic(Claude)、Google(Gemini)或開源模型(Llama)。
中小企業導入 RAG 的成本與時程
導入成本主要看資料量和介面複雜度:
- 陽春版(內部 Slack/LINE 機器人 + 100-1000 份文件):8-15 萬,2-3 週上線。適合先驗證效果。
- 完整版(網頁介面 + 權限管理 + 引用來源 + 對話歷史 + 5000+ 文件):20-50 萬,4-8 週上線。適合正式上線給全公司用。
- 運行成本:OpenAI/Claude API 費用依使用量,中小企業每月約 NT$ 2000-15000。向量資料庫自架幾乎免費(Qdrant on Docker),用 SaaS 月費 US$ 70 起。
怎麼判斷 RAG 適不適合自家公司?(3 個檢核點)
在花錢導入 RAG 之前,先用這 3 個問題自我檢核:
- 有沒有 100 份以上的內部文件? 文件太少(< 50 份),員工自己 Google 還比較快,RAG 沒效益。
- 這些問題每週重複出現多少次? 同樣問題如果一週問不到 5 次,導入 RAG 的 ROI 不高。
- 回答錯了會不會出大事? RAG 仍然會幻覺(hallucination),重要決策不能完全依賴。法務合約、財務數字這類「錯了會出事」的場景要設定人工審核機制。
常見問題
- Q. RAG 會不會洩漏我們公司機密?資料安全怎麼處理?
- 看你怎麼建置。如果用 OpenAI / Claude API,文件內容會傳到他們的伺服器(但他們承諾不用於訓練)。要更安全的做法:(1) 用開源 LLM 自架(Llama、Qwen);(2) 用 Azure OpenAI 私有部署;(3) 重要文件做 PII(個資)遮罩再進向量庫。baixeng 的客戶有銀行、醫療業,會根據合規需求挑技術方案。
- Q. RAG 跟 ChatGPT Plus 內建的「上傳檔案問答」有什麼不同?
- ChatGPT Plus 的檔案問答適合「個人偶爾用、文件少、單次對話」。RAG 系統適合「公司全員用、文件多、要長期累積、要權限管理、要審計」。前者沒辦法管「誰能看哪些文件」、沒辦法整合到 LINE/Slack/網站,也沒辦法處理上萬份文件。RAG 是把這套能力工程化。
- Q. 我們文件是 Word、PDF 還有 Notion,都能放進 RAG 嗎?
- 可以。常見支援格式:PDF、Word(docx)、Excel、PPT、Markdown、HTML、Notion 匯出、Confluence、Google Docs。比較棘手的是「掃描的 PDF(圖片型)」需要先做 OCR,或「複雜表格」需要特殊解析。baixeng 在文件評估階段會先抽樣測試效果。
- Q. RAG 一定要用 OpenAI 嗎?台灣有合規考量
- 不一定。可選的 LLM 包括:OpenAI(ChatGPT 系列)、Anthropic(Claude)、Google(Gemini)、Azure OpenAI(資料留在 Azure)、開源自架(Llama 3、Qwen 2.5、Mistral)。embedding 模型也有開源選項(BGE、e5)。如果有政府/金融合規需求,可以做完全離線部署 — 全部跑在你公司內網,沒有任何資料外傳。
- Q. 上線後怎麼知道 RAG 答得準不準?
- 三個方法:(1) 預先準備 50-100 個「黃金問題 + 標準答案」做基準測試,每次更新模型/文件都跑一遍看分數;(2) 在使用介面放「這個答案有用嗎」按鈕收集真實 feedback;(3) 監控「找不到答案」的比例,過高代表向量化品質有問題。baixeng 建置時會把這套評估機制一起做進去,不是丟一個 demo 就跑路。