AI Agent의 ROI 평가는 몇 시간의 노동을 대체했는지만 보아서는 안 된다. 과업 성공률, 사람 인계율, 과업당 추론 비용, 시스템 통합과 운영 투자를 모두 같은 대차대조표에 올리고, 순편익은 정량화 가능한 절감에 정량화 가능한 증분 수익을 더한 값에서 총 생애주기 비용을 뺀다는 프레임워크로 계산해야 재무 검토를 견딜 수 있는 결론이 나온다. 다시 말해 AI Agent를 배치할 가치가 있는지는 데모에서 얼마나 영리해 보이는지가 아니라 특정 업무에서 안정적인 폐루프를 돌릴 수 있는지에 달려 있다.
1. AI Agent의 ROI는 전통적 자동화 소프트웨어의 수익률과 어떻게 다른가
MES 모듈이나 RPA 스크립트 같은 전통적 자동화 소프트웨어는 투입 산출 계산이 비교적 쉽다. 라이선스 비용, 구현 비용, 운영 비용이 명시적이고 대체하는 것은 확정적 공정에서의 사람 조작이다. AI Agent는 다르다. 추론과 의사결정 단계를 포함하고 출력이 확률적이므로, 같은 과업이 오늘은 맞게 처리되고 내일은 입력 교란 때문에 사람 인계가 필요할 수 있다. 이는 두 가지 변수를 더 ROI 공식에 넣어야 함을 의미한다. 과업 성공률과 사람 인계율이다.
구체적으로 전통적 소프트웨어의 편익은 대략 대체 노동 시간에 노동 단가를 곱한 값이다. AI Agent의 편익은 할인되어야 하며, 실제 유효 대체 시간은 전체 과업량에 성공률을 곱한 값에서 인계 처리에 소요된 시간을 뺀 값이다. 실제로 많은 AI Agent 프로젝트가 개념 검증 단계에서는 좋아 보이지만 확장 후 ROI가 마이너스로 돌아서는데, 문제는 보통 시나리오 복잡도가 올라가면서 인계율이 상승해 장부상 절감이 숨은 노동 비용에 잠식되는 데 있다.
2. 평가는 어떤 계정 묶음으로 나누어야 하는가
평가는 네 가지 계정 묶음으로 나누어야 하며, 하나라도 빠지면 결론이 왜곡된다.
첫째는 직접 비용 계정으로, 토큰이나 호출 단위로 과금되는 추론 호출 요금, Agent 오케스트레이션 플랫폼의 라이선스나 구독, ERP와 MES와 SCADA 연결을 위한 인터페이스 개발비, 이력 데이터 정비 비용을 포함한다. 추론 비용은 쉽게 과소평가된다. 여러 차례 도구 호출이 필요한 Agent는 단순 질의응답보다 과업당 토큰을 수십 배 소비할 수 있다.
둘째는 숨은 비용 계정으로, 사람 인계 시간, 예외 처리와 수정 시간, 프롬프트와 지식 베이스를 유지하는 지속 인력, 모델 버전 업그레이드에 따른 회귀 테스트 투자를 포함한다. 업계에서는 Agent의 출시 후 유지보수 투자가 초기 예산에서 자주 간과된다는 점이 널리 보고된다.
셋째는 편익 계정으로, 절감과 증분으로 나뉜다. 절감 측은 문서 입력, 보고서 대사, 작업지시 배차처럼 대체되는 반복 조작 시간이다. 증분 측은 이전에는 불가능했던 것, 예를 들어 24시간 이상 경보 대응과 시스템 간 데이터 일관성 순찰이다. 증분 편익은 대사 불일치율이나 평균 작업지시 응답 시간처럼 검증 가능한 지표에 고정해야 하고 단순히 효율 향상이라고 적어서는 안 된다.
넷째는 위험 계정으로, 잘못된 결정으로 인한 재작업 비용, 데이터 유출의 컴플라이언스 비용, 단일 모델 벤더 의존 비용을 포함한다. 이 부분은 반드시 구체적 금액으로 환산할 필요는 없지만 완화 방안과 함께 의사결정 문서에 기재해야 한다.
3. 어떤 제조 시나리오의 ROI를 먼저 계산할 만한가
전자 공장이 SMT 라인 이후 외관 재판정과 배치 추적 작업지시 처리 업무가 많다고 하자. 이런 시나리오는 과업 경계가 명확하고 입력 형식이 비교적 안정적이며 학습과 검증에 쓸 이력 작업지시 데이터가 있어 Agent ROI 모델을 먼저 돌리기에 적합하다. 평가 중 세 가지 숫자를 보아야 한다. 작업지시당 처리 시간, 수동 재판정 비율, 시스템 간 데이터 조회 시간이다.
자동차 부품 기업이 공급업체 입고 검사 보고서와 ERP 입고 전표를 대사한다고 하자. 전형적인 다중 시스템 반구조화 데이터 시나리오다. 여기서 Agent의 가치는 검사원을 대체하는 것이 아니라 대사를 수동 문서 넘기기에서 자동 비교와 예외 안내로 바꾸는 것이며, ROI는 주로 절감된 대사 시간과 더 빠른 불일치 발견에서 나온다. 이런 시나리오의 입력은 공급업체마다 템플릿이 달라 형식 일관성이 나쁘므로 인계율이 표준 내부 문서보다 확실히 높다. 평가는 공급업체별로 분할해야 하고 하나의 평균으로 뭉뚱그려서는 안 된다.
신중해야 할 시나리오가 하나 있다. 공정 파라미터를 실시간으로 조정하는 폐루프 제어다. 이런 과업은 결정성과 실시간성을 요구하고 Agent의 추론 지연과 확률적 출력이 라인 택트와 안전 경계와 충돌한다. 서면상 ROI가 아무리 좋아도 경계 조건이 충족되지 않으면 배치해서는 안 된다.
4. 평가에서 가장 흔한 함정
첫 번째 함정은 개념 검증 성공률을 양산 성공률로 보는 것이다. 개념 검증 샘플은 정리되어 있고 경계가 명확한 경우가 많지만 양산 입력은 잡음이 많고 롱테일 사례가 많아 성공률이 떨어진다. 안전한 접근은 과업 유형별로 층화 샘플링해 성공률과 인계율을 각각 측정한 뒤 업무량으로 가중하는 것이다.
두 번째 함정은 통합 비용을 빠뜨리는 것이다. Agent가 실제로 일하려면 ERP 인터페이스를 호출하고 MES 작업지시를 읽고 SCADA 경보에 기록해야 하며, 이기종 시스템이 많은 공장에서는 OPC-UA와 RESTful 인터페이스 통합 작업이 상당하다. 이 예산은 평가 단계에서 계정에 들어가야 한다.
세 번째 함정은 유지보수 인력을 무시하는 것이다. 공정이 바뀌면 지식 베이스를 갱신해야 하고, 업무 규칙이 바뀌면 프롬프트를 조정해야 하며, 모델 업그레이드에는 회귀 검증이 필요하다. 이 모두 전담 인력이 필요하고 인원당 연간 비용으로 환산해야 한다.
네 번째 함정은 편익 정의가 일치하지 않는 것이다. 재무는 장부에 잡히는 비용 절감을 인정하고 생산은 이론적 노동 시간 절감을 보고하는데, 둘 사이에는 출근율과 교대 유연성 같은 환산 계수가 있다. 평가 단계에서 정의를 정렬해야 하며 그렇지 않으면 ROI 수치가 맞지 않는다.
5. AI Agent가 적합한 곳과 그렇지 않은 곳
적합한 시나리오는 몇 가지 특성을 공유한다. 입출력이 명확한 과업, 사람 폴백이 가능한 오류 허용도, 빈번한 시스템 간 데이터 조회, 통합 비용을 상각할 수 있는 충분한 물량이다. 문서 대사, 작업지시 배차, 보고서 통합, 이상 1차 스크리닝, 지식 검색 질의응답이 그렇다. 택트 요구가 크지 않고 인계 메커니즘을 설계하기 쉬우며 ROI 추정이 비교적 신뢰할 수 있다.
부적합한 시나리오도 명확하다. 강한 실시간 폐루프 제어, 안전 무결성 요구가 높은 업무, 입력 형식이 매우 불안정한 롱테일 업무, 물량이 너무 적어 통합 비용을 상각할 수 없는 영역이다. 또한 기업 자체 데이터 정비가 되어 있지 않고 기준 정보가 일치하지 않으며 인터페이스 문서가 없으면 Agent 통합 비용이 예상을 훨씬 초과하므로, 서둘러 Agent를 배치하기보다 데이터 기반을 바로잡는 것이 남는 장사다.
ROI 자체로 돌아가면, 이 평가 방법의 본질은 예쁜 숫자를 만드는 것이 아니라 Agent가 어떤 조건에서 이익이 되고 어떤 조건에서 그렇지 않은지를 명확히 말하는 것이다. ERP 시대부터 수십 년간 일해 왔고 120만 고객을 서비스하며 누적 수천만 대 단말을 보급하고 국내외 시장을 커버하는 벤더의 가치는 통합과 운영 비용을 더 현실에 가깝게 추정하는 데 있다. 제조 기업에게는 개념 검증과 전면 확산을 결정하기 전에 과업 계층별로 네 가지 계정을 계산하는 것이 어떤 데모보다 유용하다.