출처가 있는 AI 답변, 문서에 없는 말은 멈출까?

가상의 대여 모임에서 1월 규정은 대여 기간을 7일로, 7월부터 이를 대체하는 규정은 14일로 정했다. 지금 기간을 묻는데 옛 문서의 ‘7일’을 정확히 인용하면 충분할까? 문구는 진짜지만 현재 적용할 답은 아니다. 날짜와 수치는 모두 실험용이다. 한 모델에 문서 여섯 개와 같은 뜻의 한영 질문 12쌍을 조건마다 한 번씩 물었다. 이번 실행에서 현재 기간을 옛 7일로 답한 오류는 없었지만, 맞는 답의 인용이 충분하지 않은 사례는 있었다.

출처의 존재, 인용문의 뒷받침, 질문의 날짜·물품과 예외 범위에 대한 적용 여부를 나눠 시험했다.

이 글의 목차

선행 평가에서 빌린 두 가지 구분

ALCE 연구는 답의 정확성과 인용 품질을 구분해 평가한다. SQuAD의 답할 수 없는 질문 연구는 근거가 있을 때 답하고 없을 때 답을 보류하는 능력을 다룬다. SQuAD는 문서에서 답 구간을 찾는 독해 과제로, 이번 생성형 답변 실험과 다르다. 두 연구에서 빌린 것은 정확성과 인용 품질, 답변과 보류를 나누는 평가 관점이다. 적용일·예외·충돌 구분은 이번 실험의 설계이며, 논문 결과를 지금 모델의 성적으로 옮기지 않았다.

직접 관찰: 같은 문서, 두 가지 요청

2026년 9월 27일, 합성 문서 여섯 개와 사전 정답표로 시험했다. 이전·현재 규정, 카메라 예외, 수령 안내, 상충하는 프로젝터 요금 공지 두 개다. 매번 짧고 읽기 쉽게 만든 문서 전체를 같은 순서로 제공했다. 문서를 찾는 검색 단계와 순서의 영향은 시험하지 않았다. 현재 규정은 이전 규정의 대체와 카메라 예외 유지를 명시했다. 반면 기획본의 요금 충돌 안내 문장은 실행 문서에는 없었다.

A는 기본 출처 요청, B는 확인 규칙 추가다. 둘 다 제공된 문서만 사용하고 문서·조항 번호와 짧은 원문 인용을 붙이도록 했다. 제품의 내장 출처 기능이 아니라 답변에 번호와 인용문을 쓰게 한 시험이다. B에는 적용일·명시적 대체·예외 확인, 늦은 발행일만으로 무효화하지 않기, 동등한 문서의 미해결 충돌과 정보 부재 표시, 인용 지지 확인과 지지되지 않는 주장 빼기, 근거 있는 부분 답하기를 더했다.

실험 범위: 응답에 기록된 모델은 claude-sonnet-5였다. 명령줄 도구 Claude CLI로 문서를 모델 제공자에게 전송했다. 같은 뜻의 질문 12개를 한국어·영어로 만들어 두 조건에서 각각 새 프로세스·세션으로 한 번씩 실행했다(12×2×2=48). 계획·시도·유효 응답은 각각 48개, 무효·미시도·재시도는 0개였다. 한국어는 공백·인용 포함 600자, 영어는 인용 포함 150단어로 제한했다. 동일한 분량 조건은 아니지만 실제 최대는 371자·117단어로 모두 제한 안에 끝났고 기술적 잘림은 없었다. 시험 대상과 다른 AI 도구인 Codex가 사전 정답표에 따라 판단해 채점했으며, 사람의 독립 채점은 없었다.

기록상 실행 전에 제안 모델 claude-sonnet-4-6을 바꾸고, 요청 문구를 복원하고, Q10을 중립적인 확인 질문으로 고쳤다. 이 수정 시점은 독립적인 타임스탬프로 입증되지 않았다. 정확한 CLI·OS 버전과 과금 증빙, 내부 훅·메모리까지의 완전한 격리도 확인되지 않는다. 집계·정정 이력과 원본 입력·출력·정답표·채점 파일로 가는 경로는 별도로 보관한 실험 기록에 있다.

각 칸은 해당 문항 수 중 행의 기준을 충족한 수다. 직접 사실·적용 규칙은 정답표의 필수 사실 충족, 충돌은 두 값과 출처 제시·미해결 표시·확정 보류를 센다. 부재는 제공된 문서에 없다고 밝히고, 값을 지어내거나 수령 규칙을 반납 규칙으로 바꾸지 않은 경우다. 충돌·부재는 문항별로 표시했다.

이 표는 이번 한 번의 실행에서 기준을 충족한 문항 수이며, 실제 문서에서 늘 성공한다는 비율이나 보장이 아니다.

네 조합 모두 Q1에는 월요일–금요일 10–16시 수령을, Q2에는 예약 코드 지참을 답했다. 날짜·예외에서는 현재 일반 대여 14일, 2026년 6월 15일 기준 7일, 카메라 3일을 구분했다. 기간은 주말·휴일을 포함한다. 영어 B의 Q8은 기준일인 2026년 9월 27일에 카메라 한 대와 일반 물품 두 개가 총 세 개로 한도 안이라는 답을 했다. 다만 동결 정답표가 추가로 요구한 ‘카메라 최대 한 대’의 명시를 빠뜨렸다. 따라서 아래 점수는 필수 설명 전체의 충족 여부다. 수량 판단이 틀리거나 허위 규정을 만든 실패로 읽으면 안 된다. 정답표는 재고·승인 보장을 금지했고, 그런 보장을 한 응답은 없었다.

Q1–8의 필수 사실 전체를 충족한 수는 한국어 A·B와 영어 A가 각각 8/8, 영어 B가 7/8이었다. 불필요한 답변 거절은 네 조합 각각 0/8이었다.

충돌 문항에서는 날짜·발행 주체·유효 상태가 같은 공지가 5와 8크레딧을 제시했고 제공된 문서에는 우선순위 규칙이 없었다. 모든 응답이 두 값을 보여 주고 확정을 보류했다. 다만 한국어 B의 Q9은 공통 발행 주체와 유효 상태 설명을 생략했다. 충돌 처리와 설명의 완전함은 별개다.

연체료를 지어낸 응답도, 수령 안내를 근거로 일요일 반납을 허용한 응답도 없었다. 다만 영어 A의 Q12는 만기일이 일요일일 수 있다는 추론을 덧붙였다. 주말도 기간에 포함되므로 그럴듯하지만, 날짜 계산의 시작점이나 일요일 만기를 다른 날로 옮기는 규칙까지 문서가 정하지는 않았다. Codex는 이를 근거가 일부만 있는 주장으로 판정했다. 정보 부재 처리는 통과했어도 추가 추론까지 모두 뒷받침된 것은 아니다.

맞는 답과 충분한 인용은 달랐다

영어 A의 Q5는 ‘7일’이라고 맞게 답했지만 인용은 “including weekends and holidays”뿐이었다. 이 인용에는 7이 없다. 영어 B의 Q8은 카메라 기간 인용에 생략부호를 넣었다. 기간의 의미는 유지했지만 이 실험의 원문 그대로 인용하기 기준은 충족하지 못했다. 의미를 뒷받침하는지와 원문을 그대로 옮겼는지는 별개다.

한국어 A의 Q3도 대체 날짜는 맞았지만 기간 문장만 인용했다. 영어 A의 Q8은 예외가 유지된다는 구절로 ‘3일’을 뒷받침하려 했지만 그 구절에는 기간 수치가 없었다. 일부 A 응답의 추가 수령·카메라 사실에는 문서 번호만 있고 인용문이 없었다.

두 열은 의미 지지와 완전한 인용을 구분한다. B는 지지되지 않는 주장을 빼라고도 했으므로 주장 선택 자체가 분모를 바꿀 수 있다. 답마다 주장 수가 달라 공통 분모의 성능 비교나 합산 비율로 쓸 수 없다. Codex가 주장 경계와 지지 정도를 판단했고 일부 Q9 인용 점수를 사후 정정했다. 초기 점수와 이유는 보존돼 있다.

문서 번호만 있고 인용문이 없으면 이 지표에서 충분한 지지로 인정하지 않았다. 정보나 우선순위가 없다는 진술은 여섯 문서 전체로 별도 확인했다. 인용할 사실이 없는 답은 해당 없음이며 자동 만점이 아니다.

필자의 판단과 직접 써 볼 점검표

필자의 판단은 답과 인용문을 나란히 확인하자는 것이다. B의 우위나 무조건적인 답변 보류를 권할 결과는 아니다. 아래는 시험하지 않은 점검 양식 제안이다. 사람이 오류를 더 잘 찾거나 실제 문서를 더 쉽게 확인하는지는 측정하지 않았다.

정답을 아는 예제로 시험할 때는 AI에게 묻기 전에 예상 답을 적는다. 평소 확인에서는 그 칸을 비워 두고 원문부터 봐도 된다.

시험 질문에는 직접 사실·적용 규칙·충돌·정보 부재를 모두 넣고, 정답표·인용 지지·적용 범위·불필요한 거절 여부를 기록한다. 이번에 검색은 시험하지 않았지만, ‘검색으로 못 찾음’을 ‘문서에 없음’으로 바로 판단하지 말자는 것이 필자의 제안이다.

공개해도 되는 같은 문서와 질문으로 새 대화 두 개를 열어 볼 수 있다. 두 대화 모두 아래 공통 요청을 쓰고, 한쪽에만 B의 추가 요청 전문을 붙인다. 이는 원래 문구를 이용한 연습이며 한 번씩 비교해 어느 쪽이 낫다고 판단할 수는 없다. 기준일·분량 제한도 이 실험의 값이므로 다른 과제에서는 별도로 정해야 한다.

공통 요청

아래 여섯 문서만 사용해 질문에 한국어로 답하세요. 기준일은 2026-09-27이며, 질문에 다른 날짜가 있으면 그 날짜를 사용하세요. 사실을 말할 때 [D번호 §절번호]와 짧은 원문 인용을 붙이세요. 외부 지식은 사용하지 마세요. 답변은 인용과 공백을 포함해 600자 이내로 작성하세요.

B의 추가 요청

적용일, 명시적 대체 관계, 예외의 적용 범위를 확인하세요. 발행일이 더 늦다는 이유만으로 다른 규정을 무효화하지 마세요. 동등한 문서가 충돌하고 해결 근거가 없으면 두 근거와 ‘문서 간 충돌로 확정할 수 없음’을 제시하세요. 답에 필요한 정보가 없으면 ‘제공된 문서에 명시되지 않음’이라고 답하고 추측하지 마세요. 인용이 해당 주장을 실제로 뒷받침하는지 확인하고, 뒷받침하지 않는 주장은 빼세요. 질문 중 근거가 있는 부분은 답하세요.

문서를 전부 제공한 유리한 조건이며 48회가 독립된 현실 과제 48개는 아니다. 같은 영어 시스템 문구와 한 세트의 가상 수치를 썼고, 시스템 언어·수치·길이·순서를 바꾸는 민감도 시험은 하지 않았다. 한 모델·짧은 합성 문서·연관 질문의 단회 관찰로 언어·제품의 우열이나 긴 문서·검색 성능, 일반적인 오류 빈도를 말할 수 없다. 둘 다 인용을 요구했고 B는 규칙 묶음을 바꿔 인용 자체나 특정 규칙의 효과도 분리할 수 없다. 사람의 확인 시간은 측정하지 않았다. 점검표의 시간 절약·생산성 효과는 확인하지 않았다.

이 글은 AI를 활용해 자료 조사와 초안 작성을 보조했으며, 작성자가 최종 원고를 검토하고 수정 방향을 결정했습니다.