PM을 위한 AI 실무 사전 3편 — RAG, 환각, 그라운딩

누구나법률 3장(법제처 API와 Groq, 거짓말 안 하게 섞기)에서 나온 개념: RAG, 환각(hallucination), 그라운딩(grounding).

환각(Hallucination) — LLM이 그럴싸하게 지어내는 것

LLM은 "정답을 아는 것"이 아니라 "다음에 올 것 같은 말을 예측하는" 방식으로 작동한다. 그래서 학습 데이터에 없거나 불확실한 내용도, 문법적으로 그럴싸하면 자신 있게 답한다. 이걸 **환각(hallucination)**이라고 부른다. 없는 논문을 인용하거나, 존재하지 않는 법 조항 번호를 지어내는 게 대표적인 예다.

법률·의료·금융처럼 "틀리면 실제 피해가 생기는" 분야에서는 환각이 특히 치명적이다. 그럴싸한 오답이 아예 대답을 안 하는 것보다 위험할 수 있다.

RAG(검색증강생성) — 답을 만들게 하지 말고, 근거를 찾아서 주자

RAG(Retrieval-Augmented Generation)는 이 문제에 대응하는 대표적인 방법이다. 구조는 단순하다.

 

사용자 질문 → (LLM이 바로 답하는 대신) 관련 자료를 먼저 검색
           → 검색된 자료를 LLM 프롬프트에 끼워 넣음
           → LLM은 그 자료를 "요약·설명"하는 역할만 함

LLM이 "지식"을 스스로 만들어내는 게 아니라, 이미 검색으로 찾은 진짜 자료를 가지고 답하게 만드는 것이다. 이 프로젝트에서는 법제처 API로 실제 법조문과 판례를 검색해서 프롬프트에 넣는 방식으로 구현했다.

주의할 점: RAG를 붙였다고 환각이 자동으로 사라지진 않는다. 3장에서 겪은 것처럼, 자료를 줘도 LLM이 그 자료를 무시하고 다른 말을 할 수 있다. RAG는 "재료를 주는 것"까지고, "그 재료로만 요리하게 만드는 것"은 별도의 문제다.

그라운딩(Grounding) — "그 재료로만 요리해라"를 강제하기

그라운딩은 LLM의 답변을 특정 근거 자료에 "고정"시키는 작업을 말한다. 실무적으로 흔히 쓰는 방법 세 가지가 3장에 다 나온다.

1. 금지 지시문을 명시적으로 박아넣기 — "절대 링크나 사이트 안내 금지"처럼, LLM이 회피하기 쉬운 패턴을 구체적으로 짚어서 막는다. 애매하게 "정확하게 답해줘"라고 하는 것보다, 실제로 관찰된 회피 패턴을 그대로 지목하는 게 훨씬 잘 먹힌다.
2. 원문을 충분히 길게 주기 — 요약만 주면 LLM도 요약해서 답할 수밖에 없다. "직접 인용"을 시키려면 인용할 수 있을 만큼 원문 자체를 프롬프트에 넣어줘야 한다.
3. 검색이 실패해도 서비스는 죽지 않게 — 법령 검색과 판례 검색을 return_exceptions=True로 독립적으로 실패하게 만든 것도 그라운딩 설계의 일부다. 근거 자료 하나가 없다고 전체 답변이 막히면 안 된다.

실무 판단 기준

RAG·그라운딩을 도입할 때 "검색 붙였으니 끝"이라고 생각하면 오산이다. 최소한 세 지점을 따로 검증해야 한다.

• 검색 자체가 사용자의 실제 입력 방식(띄어쓰기, 줄임말, 오탈자)에 맞게 결과를 주는가
• LLM이 검색 결과를 실제로 인용하는가, 아니면 무시하고 딴 소리를 하는가
• 검색이 실패했을 때 전체 시스템이 우아하게 대응하는가

셋 중 하나라도 놓치면, "우리는 실제 데이터 기반으로 답변합니다"라는 말과 실제 동작이 어긋난다.

---

다음 실무 사전 편은 누구나법률 4장(공짜로 메꿔보려 두 번 걸었다)이 발행된 후, 그 안에 나오는 개념들을 정리해서 이어간다.