AI가 초안을 빠르게 만들었다는 사실과 조직의 전체 업무가 개선됐다는 결론 사이에는 확인할 시간이 남아 있다. 자료 준비, 원문 확인, 사람 검토, 재작업, 승인 대기, 오류 복구까지 포함하면 초안 단계의 절감이 다른 단계의 부담으로 이동했을 수 있다. 성과를 판단하려면 같은 완료 조건을 가진 업무에서 전체 시간·품질·비용·실패·실제 활용을 함께 봐야 한다. KAAI 조직 AX 리포트 제01호는 이를 ‘성과 장부’로 분리한다.
75%, 56%, 77%는 같은 생산성 수치가 아니다
영국 DSIT의 AI 사용 기업 하위 표본 700곳 조사에는 서로 다른 질문이 있다. ‘AI 사용이 조직에 미친 영향’ 문항에서는 75%가 인력 생산성 개선을 선택했다. 별도의 생산성 증감 폭 문항에서는 증가 응답이 56%였다. 또 다른 매출 변화 문항에서는 변화 없음이 77%였다. 모두 가중 자가보고 조사이며 객관적 인과효과 측정이 아니다. DSIT AI Adoption Research
따라서 ‘AI가 생산성을 75% 높였다’고 읽으면 질문의 의미가 바뀐다. 75%는 생산성 개선을 영향으로 선택한 기업 비율이지 생산성 증가 폭이 아니다. 56%는 별도 문항에서 증가 구간을 선택한 응답의 합이며, 77%는 매출이라는 다른 결과를 물은 응답이다. 세 숫자를 하나의 효과 사슬이나 전환율처럼 연결할 근거도 없다. 조사 시점과 대상은 영국 민간기업이므로 한국 조직의 성과로 일반화할 수도 없다.
DSIT 세 문항을 섞지 않는 읽기 기준
| 수치 | 질문 | 말할 수 없는 것 |
|---|---|---|
| 75% | 도입 영향에서 생산성 개선을 선택 | 생산성이 75% 증가했다 |
| 56% | 별도 증감 폭 문항에서 증가 응답 | 75%와 같은 지표다 |
| 77% | 별도 매출 문항에서 변화 없음 응답 | AI가 매출에 인과효과가 없다 |
초안 시간 대신 업무의 시작과 끝을 먼저 정한다
성과 비교의 단위가 ‘문서 한 건’이라면 시작은 자료 수집인지, 승인된 자료를 받은 시점인지 정해야 한다. 끝도 초안 생성인지, 검토 통과인지, 실제 발송과 후속 수정까지인지 달라질 수 있다. 시작과 끝이 다르면 도입 전후의 시간 비교도 달라진다. 먼저 누가 어떤 입력을 받아 어떤 완료 조건을 통과하면 한 건이 끝나는지 문장으로 적어야 한다.
- 준비: 자료 요청, 정리, 접근 권한 확인에 든 시간
- 작성: AI와 사람이 초안을 만드는 데 든 시간
- 검토: 출처·수치·품질·정책을 확인한 시간
- 재작업: 오류·누락·형식 문제를 고친 시간
- 승인·대기: 책임자의 결정과 전달을 기다린 시간
- 복구: 잘못된 저장·발송·중복 실행을 바로잡은 시간
초안 생성 시간만 전후 비교하면 준비나 검토로 이동한 부담이 보이지 않는다. 반대로 개인이 편해졌다는 효과도 무시할 필요는 없다. 다만 그것을 조직의 비용 절감, 처리량 증가, 응답 지연 감소, 매출 증가와 같은 다른 결과로 바꿔 말하지 않으면 된다.
시간과 함께 품질·비용·실패·활용을 기록한다
AI 업무 성과 장부
| 영역 | 같은 기준으로 기록할 항목 | 피해야 할 대체 지표 |
|---|---|---|
| 시간 | 준비+작성+검토+재작업+대기+복구 | 초안 생성 시간만 전체 시간으로 사용 |
| 품질 | 완료 조건, 출처·수치 오류, 누락, 수정 사유 | 문장 길이와 매끄러움 |
| 비용 | 도구·API·운영·검토·교육 부담 | 구독료만 총비용으로 사용 |
| 실패 | 중단·재시도·중복·외부 영향과 복구 | 성공 건수만 남기고 실패 제외 |
| 활용 | 검토 후 실제 사용·수정·폐기 | 생성 문서 수를 업무 성과로 사용 |
값이 없는 칸은 추정 성과로 채우지 않는다. 비교 기간, 업무 난도, 처리 건수, 담당자 숙련도, 자료 접근 조건이 달랐다면 함께 적는다. 통제된 실험이 아니라면 관찰 결과라는 한계도 남긴다. 중대 오류 한 건을 평균 속도 개선으로 상쇄하지 않도록 품질과 권한 준수는 별도 보류 조건으로 관리할 필요가 있다.
비교 가능한 두 묶음부터 만든다
모든 업무를 한꺼번에 평균 내기보다 비슷한 입력과 같은 완료 기준을 가진 작업을 도입 전후로 묶는다. 원문 수와 난도가 크게 다른 문서, 숙련자가 맡은 이전 작업과 신규 담당자가 맡은 이후 작업을 그대로 비교하면 도구 효과와 조건 차이가 섞인다. 무엇이 같고 무엇이 달랐는지를 기록해야 다음 판단이 가능하다.
확대 기준도 ‘사람이 빨리 느꼈다’ 한 문장보다 구체적이어야 한다. 품질 기준을 유지하면서 전체 소요와 재작업이 개선됐는지, 중대 실패가 통제되는지, 추가 운영비를 감당할 수 있는지 확인한다. 아직 근거가 부족하면 더 큰 자동화보다 비교 기록을 보완한다. AI 초안의 속도는 중요한 입력이지만, 조직 AX의 성과는 업무 전체가 책임 가능한 방식으로 나아졌을 때 설명할 수 있다.