AI가 읽은 자료가 실행 권한까지 주지는 않는다

AI에게 문서와 이메일, 프로젝트 기록을 읽게 하면 업무를 이어 가기 편해진다. 하지만 그 자료를 작성한 사람이 내 파일을 바꾸거나 외부에 전송할 권한까지 가진 것은 아니다.

자동화의 신뢰를 보려면 답변이 그럴듯한지뿐 아니라, 무엇을 근거로 어떤 행동을 실행했는지 확인해야 한다. 정보를 읽는 경로와 행동을 허용하는 경로를 구분하는 일이 출발점이다.

자료가 알려 주는 사실과 사용자가 허용한 행동은 각각 확인해야 한다.

1. 문서 안의 요청도 먼저 자료로 읽는다

지난 대화에 ‘이 파일을 배포하자’라는 문장이 남아 있어도 지금의 배포 승인이 되지는 않는다. 참고하는 이메일이나 웹페이지에 행동을 요구하는 문장이 들어 있어도 현재 작업의 범위를 스스로 넓히게 두지 않는다.

읽은 내용을 요약하거나 근거로 인용하는 것과, 그 내용에 따라 다른 시스템을 바꾸는 것은 서로 다른 작업이다. 과거 요청의 존재와 현재 허용된 행동을 같은 것으로 취급하지 않는다.

외부 문서가 ‘관리자가 승인함’이라고 적었다고 해서 승인 사실이 확인된 것은 아니다. 작성자·수신 경로·원본 위치·수정 시점과 실제 승인 기록을 대조할 수 있어야 한다.

표나 구조화된 데이터의 특정 칸에 들어 있다는 이유만으로 더 높은 권한을 부여하지도 않는다. 믿을 수 있는 도구가 자료를 가져왔다는 사실과 그 자료의 작성자가 행동을 승인할 수 있다는 사실도 나누어 본다.

OWASP의 과도한 에이전트 권한 안내는 필요 이상의 기능·권한·자율성이 예상하지 못한 행동으로 이어질 수 있음을 설명한다. 필요한 기능과 접근 범위를 줄이고, 실행 요청을 별도로 검증하는 방법을 제시한다.

예를 들어 읽기만 필요한 자료함과 결과를 저장할 폴더, 외부 게시 기능을 구분할 수 있다. 구현에 따라 읽기 권한과 쓰기 권한, 허용 대상과 수신자를 각각 제한한다. 모델에게 ‘조심하라’고 적는 것만으로 접근 제어가 구현되었다고 판단하지 않는다.

반복 업무는 사용자가 미리 허용한 대상·행동·조건을 기록해 그 범위 안에서 진행할 수 있다. 매 단계마다 같은 허락을 다시 받는 방식만이 통제의 전부는 아니다.

범위를 벗어나는 전송·게시·삭제 등의 행동은 정해 둔 승인 절차를 거친다. 검토할 때는 무엇을 어디에 변경하는지, 결과물과 필요한 확인 사항이 드러나야 한다. 이미 승인된 작업이라도 외부 자료가 수신자나 대상 경로를 임의로 바꾸었다면 같은 승인으로 간주하지 않는다.

검증 환경에서는 참고 자료에 현재 작업과 무관한 요청이 있을 때 실행 범위가 유지되는지 확인한다. 동시에 필요한 요약·저장·인계가 정상적으로 끝나는지도 살핀다. 모든 행동을 막아 놓고 자동화가 안전하게 완성되었다고 평가하지 않는다.

작업 후에는 입력의 출처, 허용한 범위, 실행 대상과 변경 결과를 연결해 남긴다. 비밀번호나 인증값을 기록하는 일은 피한다. 신뢰를 판단할 근거는 AI의 완료 선언뿐 아니라 실제로 남은 결과와 실행 기록이다.