사내 규정 문서를 연결한 AI에게 ‘이 계약은 자동 갱신되나요?’라고 물었습니다. 답은 자신감 있게 ‘예’라고 나왔지만 제시된 출처는 다른 상품의 약관이었습니다. 검색된 문서가 화면에 뜬다는 사실만으로 답변이 근거 있는 것은 아닙니다. 기업용 RAG에서는 질문에 맞는 문서를 찾는 일, 문서에 실제로 쓰인 주장만 하는 일, 근거가 없으면 멈추는 일이 모두 필요합니다.
검색의 성공과 답변의 성공을 나눠 본다
RAG는 검색으로 관련 내용을 가져와 언어 모델에 제공하는 방식입니다. 검색이 엉뚱한 문단을 가져오면 답변은 그럴듯한 추측으로 흐를 수 있습니다. 검색이 맞아도 모델이 문서 밖의 상식을 섞거나, 단서 조건을 빼먹을 수 있습니다. Microsoft의 RAG 개요도 검색된 내용이 부정확하거나 불완전하면 근거 제공만으로 잘못된 답변을 막을 수 없다고 설명합니다.
따라서 지표를 분리합니다. 검색 단계에서는 필요한 문서가 후보에 들어왔는지, 오래된 버전이 먼저 뜨지 않는지 확인합니다. 생성 단계에서는 답변의 각 중요한 주장이 제시된 문서로 뒷받침되는지, 질문에 필요한 조건이 누락되지 않았는지 확인합니다. 전체 만족도 하나로 묶으면 어디를 고쳐야 할지 보이지 않습니다.
출처는 문서 제목 하나로 충분하지 않다
사용자가 검증할 수 있으려면 문서 제목과 버전, 관련 위치, 권한이 있는 열람 링크가 필요합니다. 가능하다면 문장 또는 문단 단위로 출처를 연결합니다. 문서 제목만 덧붙이고 실제 답변은 그 문서에서 찾을 수 없다면 인용은 장식에 불과합니다. 문서가 갱신되면 인덱스 시점과 원본 버전을 함께 보여줘야 ‘당시에는 맞았지만 지금은 틀린’ 답을 구분할 수 있습니다.
권한도 검색 이전에 걸어야 합니다. 사용자가 볼 수 없는 인사 문서를 검색해 모델 입력에 넣은 뒤 화면에서 출처만 숨기는 방식은 안전하지 않습니다. 테넌트, 부서, 문서별 권한을 검색 필터에 반영하고 결과 생성 뒤에도 누출 가능성을 점검합니다. 이는 AI의 말투 문제가 아니라 정보 접근 제어 문제입니다.
답을 모를 때의 동작을 제품 요구사항으로 만든다
‘충분한 근거가 없으면 모른다고 말하라’는 프롬프트만으로는 완전하지 않습니다. 무엇이 충분한지 팀이 정의해야 합니다. 질문의 핵심 조건을 다룬 문서가 없거나, 검색된 문서끼리 충돌하거나, 필요한 문서가 사용자 권한 밖이라면 답변 보류가 합리적입니다. 보류 화면에는 무작정 ‘답변할 수 없습니다’라고만 쓰지 말고, 검색 범위, 부족한 정보, 문의할 담당 부서 같은 다음 행동을 제공합니다.
Microsoft의 RAG 프롬프트 설계 가이드도 제공된 근거에만 의존하고, 자료가 질문을 다루지 않으면 정보가 없다고 밝히는 예시를 제시합니다. 다만 모델의 자기 판단만 믿지 말고 중요한 업무에는 별도 근거 검사 또는 사람 검토를 결합해야 합니다.
평가 질문 세트는 실제 업무에서 만든다
잘 알려진 FAQ만 넣으면 데모는 좋게 보입니다. 운영 평가에는 비슷한 이름의 문서, 폐기된 규정, 문서 간 충돌, 권한 없는 요청, 근거가 아예 없는 질문을 포함해야 합니다. 답변 정확성뿐 아니라 근거와의 일치, 필요한 내용의 누락 여부, 보류가 필요한 질문에서의 행동을 따로 봅니다. Microsoft의 RAG 평가 문서도 검색 품질, 근거 충실도, 응답 완전성을 구분합니다.
도입 전 확인할 다섯 가지
- 문서 버전과 검색 인덱스 갱신 시점이 보이는가?
- 질문의 핵심 주장마다 사용자가 열람할 수 있는 출처가 있는가?
- 문서 접근 권한이 검색 단계부터 적용되는가?
- 근거 없음·충돌·권한 부족에 대한 보류 동작이 정해졌는가?
- 실제 업무 질문과 실패 사례로 검색·답변을 따로 평가하는가?
기업 AI의 신뢰는 ‘항상 답한다’에서 오지 않습니다. 답한 이유를 따라갈 수 있고, 답해서는 안 되는 때 멈추는 데서 시작합니다.
#RAG #검색증강생성 #기업AI #사내문서AI #답변근거 #출처표시 #환각방지 #지식검색 #생성형AI #AI품질
