AI와 함께 만드는 삶

PM으로 일하며 AI와 함께 무언가를 만들어가는 삶을 기록합니다.

프롬프트엔지니어링 2

법제처 API와 Groq, 거짓말 안 하게 섞기 — RAG 그라운딩 실전기 (3장)

진짜 데이터를 주는 것과, 그 데이터를 쓰게 만드는 것LLM한테 그냥 "임금체불 당했는데 어떻게 해야 하나요?"라고 물으면, 그럴싸한 답이 나온다. 문제는 "그럴싸함"이지 "정확함"이 아니라는 것. 법률 서비스에서 조문 번호를 지어내거나, 이미 개정된 옛날 조항을 인용하면 그건 그냥 사고다.그래서 세운 원칙은 하나였다. LLM이 답을 만들어내게 하지 말고, 법제처에서 실제로 검색한 법조문·판례를 던져주고 그걸 그대로 인용하게 시키자. 말은 쉬운데, 실제로 해보니 세 가지 층위의 문제가 연달아 나왔다.1단계 — 검색은 빠르게, 병렬로사용자가 질문을 입력하면 법령 조문과 판례를 각각 검색해서 AI 프롬프트에 끼워 넣는 구조를 짰다. 순서대로 하나씩 검색하면 느리니까, 동시에 실행했다. pythonarticl..

PM을 위한 AI 실무 사전 3편 — RAG, 환각, 그라운딩

누구나법률 3장(법제처 API와 Groq, 거짓말 안 하게 섞기)에서 나온 개념: RAG, 환각(hallucination), 그라운딩(grounding).환각(Hallucination) — LLM이 그럴싸하게 지어내는 것LLM은 "정답을 아는 것"이 아니라 "다음에 올 것 같은 말을 예측하는" 방식으로 작동한다. 그래서 학습 데이터에 없거나 불확실한 내용도, 문법적으로 그럴싸하면 자신 있게 답한다. 이걸 **환각(hallucination)**이라고 부른다. 없는 논문을 인용하거나, 존재하지 않는 법 조항 번호를 지어내는 게 대표적인 예다.법률·의료·금융처럼 "틀리면 실제 피해가 생기는" 분야에서는 환각이 특히 치명적이다. 그럴싸한 오답이 아예 대답을 안 하는 것보다 위험할 수 있다.RAG(검색증강생성) ..