AI를 써서 보고서를 빠르게 완성했다고 하자. 결과물의 품질과 처리 시간은 개선됐을 수 있다. 하지만 다음 자료에서도 직접 가설을 세우고 계산 오류를 찾을 수 있게 됐는지는 다른 질문이다.
도구의 도움을 받은 성과와 도구 없이 수행할 수 있는 능력을 나누어 보면, 무엇을 자동화하고 무엇을 연습할지 정하기 쉬워진다. 모든 반복 작업을 직접 해야 한다는 뜻은 아니다.
완성한 결과물은 도구와 함께 낸 성과다. 배운 능력은 새로운 문제에서 직접 설명하고 적용할 수 있는지로 따로 확인한다.
1. 업무 완료와 능력 습득은 다른 목표다
표를 빨리 만드는 업무에서는 정확한 결과와 처리 시간이 우선일 수 있다. 새 개념을 배우는 시간에는 답을 읽는 것뿐 아니라 조건을 골라 풀이를 구성하는 경험이 필요하다.
Bastani 등의 PNAS 연구는 터키의 고등학교 수학 실험에서 GPT-4 보조 연습 성과와 이후 도구 없는 시험을 나누어 평가했다. 일반 보조와 교사 설계 힌트 등을 포함한 튜터의 결과도 달랐다.
이 연구를 모든 성인의 업무나 현재 모든 모델에 같은 효과가 있다는 증거로 사용하지 않는다. 가져올 기준은 도움받은 수행과 독립 수행을 다른 결과로 측정하는 방법이다. 특정 과제의 결과를 일반 지능의 상승·하락으로 바꾸지 않는다.
2. 자동화할 단계와 연습할 단계를 먼저 정한다
자료 정렬·형식 변환처럼 반복해서 맡길 일과, 핵심 가정·오류 점검처럼 직접 이해해야 할 일을 나누어 본다. 같은 계산도 마감 업무에서는 자동화하고 학습에서는 직접 풀 수 있다.
AI가 대신 만든 결과를 확인해야 하는 역할이라면, 확인에 필요한 능력은 남겨 둘 필요가 있다. 계산 구조를 모르면 숫자가 맞는지 검토하는 단계도 형식적인 동의로 끝날 수 있다.
목표에 따라 쓰는 방법을 바꾼다. 모든 과제를 처음부터 끝까지 직접 하거나, 모든 답을 곧바로 받는 한 가지 방식으로 고정하지 않는다.
3. 학습할 때는 내 시도와 힌트를 연결한다
예를 들어 기업 분석의 연습이라면 먼저 매출이 현금으로 바뀌는 경로와 확인할 항목을 직접 적어 본다. 그다음 AI에 빠진 조건이나 반례를 묻고, 수정한 이유를 설명한다.
다음 요청을 기본 틀로 쓸 수 있다.
먼저 내 풀이에서 맞는 부분과 빠진 조건을 구분해 줘. 답 전체를 바로 제시하기 전에 다음에 확인할 질문이나 작은 힌트를 줘. 내가 수정한 뒤에 계산·출처·가정을 함께 대조해 줘.
이 요청만으로 학습 효과가 검증되지는 않는다. AI의 힌트도 틀릴 수 있으므로 원자료·검산·확인된 예제와 대조한다. 핵심은 내가 시도하고 고친 과정을 관찰할 수 있게 만드는 것이다.
4. 새로운 사례에서 독립적으로 확인한다
방금 읽은 풀이를 다시 말하는 것과 처음 보는 자료에 같은 원리를 적용하는 것은 다르다. 숫자·조건·자료 형식이 다른 작은 사례를 골라 도구 없이 판단 근거를 적어 본다.
답의 정확성·빠진 조건·걸린 시간·오류를 찾은 이유를 기록한다. 일정 시간이 지난 뒤 다시 수행하는 확인도 지금의 기억과 이후의 활용을 구분하는 데 도움이 된다.
힌트를 썼다면 독립 수행 결과와 나누어 표시한다. 이 기록은 개인적인 능력 점검이며, 그것만으로 일반 지능이나 다른 사람과의 인과 효과를 측정했다고 주장하지 않는다.
5. 장기 효율에 확인 능력을 유지하는 시간을 포함한다
자동화가 매번 정확하면 많은 단계를 직접 재현할 필요는 없다. 다만 오류가 생겼을 때 원인을 이해하고 고칠 수 있어야 하는 업무에서는 그 능력을 유지하는 비용도 고려한다.
완료 건수·처리 시간·재작업과 함께, 담당자가 설명하고 검토할 수 있는 범위를 살핀다. 새로운 업무를 맡길 때 어떤 능력을 도구에 의존하고 있는지도 확인한다.
AI가 만든 결과를 활용하는 능력과 직접 풀이를 만드는 능력은 각각 평가할 수 있다. 목적에 맞게 둘의 역할을 정하면 자동화와 학습을 같은 잣대로 평가하는 혼동을 줄일 수 있다.
AI와 함께 끝낸 업무에서 핵심 판단 한 가지를 골라 조건이 다른 작은 사례를 혼자 풀어 보자. 막힌 부분에만 힌트를 받은 뒤, 완성한 답보다 스스로 설명하지 못한 조건을 학습 기록에 남긴다.