새 도구를 쓰거나 사업 아이디어를 시험할 때 빨리 움직여야 한다는 말과 충분히 확인해야 한다는 말이 부딪힌다. 어느 쪽이 맞는지는 결정의 이름보다 실패했을 때 남는 결과에 달려 있다.
작은 실험은 불확실성을 줄이는 데 쓸 수 있다. 다만 실험이라는 이름이 비용과 책임을 없애지는 않는다. 빠르게 시도할 범위와 확대 전에 다시 판단할 범위를 구분해 두어야 한다.
되돌릴 수 있다는 판단은 취소 버튼의 존재가 아니라, 복구에 드는 시간·돈과 복구 뒤에도 남는 영향으로 확인한다.
1. 확신의 크기와 결정의 복구 가능성을 나눈다
아마존의 2015년 주주서한은 되돌리기 어려운 결정과 다시 바꿀 수 있는 결정을 구분하며 절차를 달리하자는 관점을 설명한다. 한 기업의 경영 원칙을 참고하는 것이며 모든 상황의 최적 속도를 증명한 연구는 아니다.
자신감이 낮아도 실패 비용이 제한된 실험을 할 수 있다. 반대로 자신감이 높아도 큰 계약·고객 피해·장기 지출을 만들 수 있는 결정이라면 그 결과를 확인해야 한다.
확신은 무엇을 믿는지에 관한 판단이고, 복구 가능성은 틀렸을 때 무엇을 해야 하는지에 관한 판단이다. 두 질문을 한 점수로 합치지 않는다.
2. 원래 상태로 돌아가는 과정을 적어 본다
설정을 원복하는 것, 데이터를 복원하는 것, 이미 전달한 내용을 정정하는 것은 서로 다른 작업이다. 프로그램을 되돌려도 잘못 보낸 청구서와 고객의 혼란까지 자동으로 사라지지는 않는다.
누가 복구할지, 사용할 원본과 백업이 있는지, 얼마나 오래 걸릴지 적는다. 그동안 서비스·현금·다른 업무에 생기는 영향과 원래 상태로 돌아갈 수 없는 부분도 확인한다.
복구 방법이 아직 추측이라면 그 결정을 쉽게 되돌릴 수 있다고 표시하지 않는다. 필요한 범위에서 복원 가능성을 먼저 확인하면 실행 범위도 더 정확히 정할 수 있다.
3. 첫 실험에서 알아낼 질문을 좁힌다
AI가 청구서 초안을 만들 수 있는지 확인하는 일과 고객에게 자동 발송하는 일은 다르다. 가상 자료로 계산과 형식을 확인하고, 실제 발송 여부는 별도의 결정으로 둘 수 있다.
실험에는 입력 범위·예상 결과·실제 결과를 대조하는 방법을 적는다. ‘써 보니 편했다’보다 누락과 오류, 확인·수정 시간을 같은 기준으로 기록하면 다음 판단에 사용할 수 있다.
작게 시작한다는 말의 목적은 작은 결과물을 만드는 데 있지 않고, 큰 비용을 쓰기 전에 중요한 불확실성을 확인하는 데 있다. 가상 자료에서 확인한 결과를 실제 고객·부하·장애 조건의 검증으로 확대하지 않는다.
4. 개별 실험의 손실과 전체 실험 예산을 함께 본다
각 시도가 작아도 반복하면 비용이 쌓인다. 도구 사용료뿐 아니라 확인·복구 시간과 다른 일을 미룬 비용도 기록한다. 같은 원인으로 실패할 여러 실험은 개수가 많다고 위험이 분산된 것이 아니다.
시작 전에 사용 가능한 시간·돈과 중단 조건을 정한다. 비용을 통제할 수 없는 실험은 먼저 범위를 줄이거나 비용을 확인할 방법부터 마련한다.
중간 결과가 기대와 다르다면 원래 질문을 수정할지, 다른 실험으로 바꿀지, 끝낼지 판단한다. 이미 쓴 비용을 회수하고 싶다는 이유만으로 다음 지출을 결정하지 않는다.
5. 확대는 같은 실험의 연장이 아니라 새 결정으로 평가한다
이용자가 늘면 입력 종류·장애 영향·지원 업무와 고정비가 달라질 수 있다. 작은 범위에서 성공했다는 기록을 확대의 유용한 근거로 삼되, 규모가 커질 때 추가로 생기는 조건도 확인한다.
확대 전에 필요한 품질·비용·수요·복구 조건을 정해 둔다. 조건이 충족되지 않았는데 성과가 좋았던 사례만 골라 계획을 키우지 않는다.
좋은 실험은 성공했을 때 확대할 근거와 실패했을 때 멈출 근거를 함께 남긴다. 이 기록이 있어야 빠른 시도가 다음 선택의 질을 높인다.
적용할 때는 ‘틀리면 누가 무엇을 복구하는가?’, ‘이번 실험이 어떤 불확실성을 줄이는가?’, ‘중단과 확대를 어떤 근거로 결정하는가?’를 확인한다.