블로그

KAAI INSIGHT

AI 에이전트 운영: 승인·중단·복구를 설계하는 방법

AI 에이전트의 승인 범위를 버전·대상·행동으로 고정하고, 이상 발생 시 추가 실행을 멈춘 뒤 마지막 상태에서 안전하게 복구하는 운영 방법을 설명합니다.

2026-09-08 · 수정 2026-09-08
AI 생성 개념 이미지. 청록색 업무 흐름을 멈추는 레버와 상태를 확인하는 투명한 장치.
KAAI · 조직 AX

멈출 수 있어야,다시 시작합니다

승인 · 중단 · 확인 · 제한 재개

AI 생성 개념 이미지 · KAAI 실무 해설

AI 에이전트 운영에서 승인은 끝이 아니라 시작입니다. 어떤 버전의 결과를 누구에게 어떤 행동으로 실행하도록 승인했는지 기록하고, 이상이 생기면 추가 실행을 멈춘 뒤 마지막 확인 상태와 외부 영향을 살펴 미완료 범위만 재개해야 합니다. 중단은 이미 발생한 일을 자동으로 취소하지 않으며, 복구는 처음부터 같은 작업을 반복하는 일이 아닙니다.

작성·검토: KAAI 한국인공지능활용협회 · 2026-09-08

승인은 무엇을 고정해야 하나

‘보내도 된다’는 말만으로는 이후의 모든 발송을 통제하기 어렵습니다. 승인 기록에는 결과물 버전, 실행 대상, 허용 행동, 실행 시각 또는 유효 기간, 남은 불확실성을 함께 넣습니다. 승인 뒤 내용이나 대상이 바뀌었다면 이전 승인이 그대로 적용되는지 다시 판단해야 합니다.

승인 항목남길 내용범위를 벗어난 예
버전검토한 파일·초안 식별자승인 후 본문 수정
대상수신자·사이트·데이터 범위새 수신자 추가
행동발송·공개·수정 등공개 승인으로 삭제까지 수행
시각·조건실행 시각, 비용·건수 상한기한 경과 후 반복 실행
미확인 사항출처·권한·예외미확인을 정상으로 간주

승인은 추상적인 허락이 아니라 실행 조건을 고정하는 운영 기록입니다. 프롬프트의 금지 문장과 실제 도구 권한도 구분해야 합니다.

실행과 검증은 같은 단계가 아니다

정상 흐름은 입력 확인 → 후보 생성 → 사람 검토 → 승인 → 제한 실행 → 결과 검증으로 나눌 수 있습니다. 실행 완료 응답만으로 끝내지 않고 실제 대상에 한 번만 반영됐는지, 승인한 버전과 같은지, 오류나 누락이 없는지 확인합니다.

NIST AI RMF 1.0은 위험관리를 GOVERN·MAP·MEASURE·MANAGE의 연결된 기능으로 설명합니다. NIST 생성형 AI 프로파일은 실제 이용 환경에서의 평가와 사람이 AI 결정을 수정·재정의한 사례의 기록을 권고합니다. 두 문서는 자발적 프레임워크이며 아래 절차는 KAAI의 실무 재구성입니다. 법률상 의무나 제품 안전 인증이 아닙니다.

언제, 무엇을 멈춰야 하나

중단 조건은 운영 전에 정합니다. 원문에 접근하지 못했는데 확인 완료로 표시하는 경우, 승인 대상이나 비용 상한을 벗어난 경우, 수치가 충돌하는 경우, 같은 발송이 반복될 가능성이 있는 경우가 예입니다.

이상 징후가 보이면 다음 순서로 대응합니다.

  1. 추가 발송·수정·비용 발생을 먼저 막습니다.
  2. 마지막으로 확인된 성공 상태와 미확인 상태를 나눕니다.
  3. 이미 발생한 외부 영향과 민감정보 노출 여부를 확인합니다.
  4. 책임자에게 완료·미완료·원인 확인 여부를 함께 알립니다.
  5. 정정·통지·재시험·재개 범위를 새로 승인합니다.

중단 장치가 있어도 이미 보낸 메일이나 변경된 데이터가 자동으로 원상복구되는 것은 아닙니다. 복구 가능한 변경과 되돌리기 어려운 영향을 구분해야 합니다.

복구는 ‘처음부터 다시’가 아니다

연결이 끊겼다는 이유로 같은 실행을 반복하면 완료된 발송이나 저장이 중복될 수 있습니다. 복구의 출발점은 마지막 확인 상태입니다. 작업별 식별자, 처리 시각, 대상, 결과 상태를 읽고 미완료 범위만 재개합니다.

재개 전에는 실패 원인을 제거했는지, 승인한 버전과 대상이 유지되는지, 정상 업무까지 손상되지 않았는지 재시험합니다. 실패 사례뿐 아니라 정상 입력의 회귀 검사도 함께 봅니다.

예시: 주간 보고서 발송 흐름

설명용으로 주간 운영 보고서 발송을 가정해 보겠습니다. 에이전트는 승인된 데이터로 초안을 만들고 검토자는 원본 수치와 수신 대상을 확인합니다. 책임자가 특정 버전과 수신자 목록을 승인하면 발송을 시작합니다. 연결이 끊기면 발송 이력을 읽어 완료·미완료 수신자를 구분하고, 내용 변경 여부를 확인한 뒤 미완료 범위만 다시 승인받습니다.

이는 실제 KAAI 기관이나 고객의 운영 사례가 아니라 중복 실행을 피하기 위한 개념적 흐름입니다. 사용하는 시스템이 실행 식별자, 상태 조회, 권한 분리를 지원하는지는 제품별로 검증해야 합니다.

운영 회의에 남길 최소 기록

운영 기록에는 입력과 승인 버전, 허용 대상·행동, 기대 결과, 실제 결과, 중단 시각, 외부 영향, 수정 조건, 재시험 결과, 재개 승인자를 남깁니다. ‘정상’이나 ‘실패’ 한 단어보다 어떤 조건에서 무엇을 확인했는지가 다음 담당자에게 중요합니다.

위임할 첫 업무를 고르는 단계라면 AI 에이전트 업무 위임, 시작 전에 확인할 세 가지부터 읽을 수 있습니다. 조직별 적용 논의가 필요하다면 KAAI 문의 안내에서 연결 방법을 확인할 수 있습니다.

승인·권한·평가·복구 흐름을 한 번에 확인하려면 KAAI 조직 AX 리포트 제01호 전문을 읽어보세요.

적용 범위: 이 글은 조직 AX 운영을 위한 일반 설계 가이드입니다. 실제 개인정보 처리, 보존 기간, 법률·노무 책임, 제품 권한과 복구 기능은 별도 검토가 필요합니다.

판단에서 실행 설계까지

전체 판단 흐름도, 운영 점검표와 7개 참고자료는 16쪽 보고서에서 확인하세요.

전체 보고서 읽기 · 인쇄하기

함께 읽을 실무 해설 →

확인한 출처

  1. Artificial Intelligence Risk Management Framework (AI RMF 1.0)
  2. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile