AI 요약을 다시 믿기 전에 원본으로 돌아가는 법

AI가 긴 대화와 자료를 정리해 주면 과거 생각을 다시 찾기 쉬워진다. 그러나 잘 정돈된 문장이 어떤 원본에서 왔고 무엇까지 확인됐는지 빠지면, 나중에는 요약 자체가 사실의 근거처럼 보일 수 있다.

자료를 오래 쓰려면 원본·생성한 설명·확인 결과를 연결해 저장한다. 글이 늘어난 만큼 독립적인 증거가 늘었다고 가정하지 않는다.

지식창고의 신뢰는 문장이 매끄러운 정도보다, 그 문장의 출처와 확인 범위를 다시 찾을 수 있는지에서 드러난다.

1. 원본 관찰과 생성한 설명의 역할을 나눈다

대화 원문·공시·실행 로그·가격 자료는 서로 다른 종류의 출처다. AI의 요약과 해석은 그 자료를 찾고 이해하게 돕는 별도 기록으로 둔다.

사람이 쓴 원문도 항상 정확하지는 않다. 개인 경험·계획·인용·추정·실행 결과를 나누어 읽고, 요약이 원문의 확신 수준을 높이지 않았는지 확인한다. 제목만 읽은 분류와 본문 읽기, 사실 검증도 각각 표시한다.

NIST의 생성형 AI 위험관리 지침은 출력의 출처와 인용을 검토하는 조치를 제안한다(MS-2.5-003). 개인 메모에서는 중요한 문장을 해당 원본 대목과 연결하는 방식으로 적용할 수 있다.

하나의 미확인 주장으로 요약·블로그·리포트를 만들면 검색 결과에는 같은 내용이 세 번 나타날 수 있다. 문서가 늘었어도 주장을 확인한 독립적인 근거가 늘어난 것은 아니다.

주장마다 어느 원본의 어느 대목에서 왔는지 연결한다. 요약끼리만 서로 인용하고 원본으로 돌아갈 수 없다면 확인 상태를 높이지 않는다. 복제된 설명과 별도로 확인한 증거를 구분하는 것이 출발점이다.

다음은 저장 방식의 연습을 위한 가상 연구 메모다. 실제 백테스트 결과가 아니다.

입력 자료: ‘전략 A v2를 2020~2024년 종가로 계산했다. 누적 수익률은 20%다. 거래비용과 슬리피지는 반영하지 않았다. 실제 주문 체결은 시험하지 않았다.’

AI에는 다음과 같이 요청할 수 있다.

위 메모에서 주장·조건·미확인 항목을 표로 정리해 줘. 원본에 없는 값은 확인 불가로 남겨 줘. 각 행에 원본 문장을 연결하고, 계산 결과를 실제 운용 성과나 미래 수익으로 바꾸어 쓰지 마.

기대하는 출력은 조건이 붙은 기록이다.

이 표도 원본과 한 줄씩 대조해야 한다. ‘비용을 빼도 수익성이 있다’거나 ‘실전에서 검증됐다’는 문장이 나오면 입력에 없는 결론을 더한 실패다. 표를 잘 만들었다는 사실만으로 입력 메모의 계산까지 검증된 것은 아니다.

아래는 저장 구조의 예시다. 파일이 존재한다는 사실과 내용이 사실인지 확인됐다는 상태를 나눈다.

‘만들 예정’은 계획이고, ‘만들었다’는 과거 주장일 수 있다. 파일·실행·검증 근거를 확인한 상태는 따로 적는다. 자료에 보관된 과거 요청이 현재 실행 권한으로 바뀌지 않게 한다.

원본이 바뀌거나 오류가 발견되면 영향받는 요약·원고·결정 기록을 연결해 찾는다. 기존 판단이 어떤 자료에서 나왔는지 이력을 보존하고, 현재 사용할 내용의 상태를 표시한다.

날짜가 중요한 주장에는 당시 근거와 현재 확인을 구분한다. 잘 쌓인 기록은 답을 빨리 찾게 할 뿐 아니라, 어떤 답을 아직 믿으면 안 되는지도 보여 준다.

저장한 요약 하나에서 중요한 주장 세 개를 골라 원본 문장으로 돌아가 보자. 원본을 찾지 못하거나 조건이 생략된 주장은 확인 전까지 재사용을 보류하고, 수정한 요약을 해당 원본과 연결한다.