AI Agent ROI 평가의 핵심은 몇 명을 줄일 수 있는지 세는 것이 아니라, 감지-판단-실행 루프 안에서 얼마나 많은 수동 판단을 대체했고 얼마나 많은 대기 시간을 압축했으며 얼마나 많은 오류 재작업을 회피했는지를 세는 것이다. 네 가지 변수, 즉 작업 빈도, 작업당 수작업 시간, 오류 비용, 시스템 통합 복잡도에서 출발해 먼저 단일 작업 계정을 계산하고 다음으로 공정 조정 계정을 계산한 뒤에야 조직 수준 이익을 논하는 것이 좋다. 이하에서는 그 순서로 분해한다.
1. 제조에서 AI Agent가 실제로 해결하는 문제
AI Agent는 전통적 자동화 스크립트의 업그레이드 버전이 아니며 RPA나 MES 내장 규칙 엔진과 근본적으로 다르다. RPA는 고정 규칙대로 인터페이스를 클릭하고 팝업이 뜨거나 데이터 형식이 바뀌면 깨진다. MES 규칙 엔진은 작업지시 파견, 생산 보고 검증 같은 구조화 이벤트를 처리한다. AI Agent의 핵심 능력은 모호한 목표(예를 들어 이 배치 불량품을 추정 원인별로 분류하고 처리 권고를 제시)를 받아 스스로 단계를 분해하고, 도구(데이터베이스 조회, 비전 모델, 공정 지식 기반)를 호출하며, 판단을 형성해 실행하고, 불확실할 때 먼저 확인을 요청하거나 사람에게 에스컬레이션하는 것이다.
제조에서 그것이 다루는 것은 규칙을 완전히 쓸 수 없고 데이터가 반구조화되어 있으며 시스템 간 연결이 필요한 회색지대 작업이다. 예를 들어 SMT 전환 시 설비 파라미터, 자재 배치, 스텐실 수명, 선행 작업지시의 품질 데이터가 MES, WMS, 설비 PLC에 흩어져 있어 전환 순서와 초물 검사 항목을 손으로 판단하려면 여러 시스템을 뒤져야 한다. AI Agent는 미리 정한 목표에 따라 이 데이터를 끌어와 전환 체크리스트를 생성하고 스테이션 단말로 푸시할 수 있다. 이런 작업의 ROI는 몇 명을 대체했는지로 계산할 수 없고 전환 준비 시간이 얼마나 줄고 초물 불량률이 얼마나 떨어졌는지로 계산해야 한다.
2. ROI 평가를 뒷받침하는 기술 원리와 핵심 능력 요구
평가 방법 자체는 세 가지 기술 전제 위에 서며, 하나라도 빠지면 계정이 정확할 수 없다.
첫째는 작업 관측성이다. AI Agent의 모든 결정이 기록되어야 한다. 어떤 도구를 호출했고 어떤 입력 파라미터를 썼으며 어떤 결론을 출력했고 사람이 개입했는지다. 이런 로그가 없으면 ROI는 추측이다. 업계는 보통 Agent 프레임워크가 OpenTelemetry 같은 추적을 지원하고 최소한 작업 ID, 도구 호출 순서, 경과 시간, 토큰 소비(대형 모델 호출 시)를 기록하도록 요구한다.
둘째는 정량화 가능한 수작업 기준선이다. 대체 효과를 계산하려면 먼저 현재 수동 처리의 빈도, 작업당 시간, 오류율을 정확히 측정해야 한다. 시간 연구 방식을 권장한다. 대표 라인이나 공정을 골라 2~4주간 수동 처리를 연속 기록하고 P50과 P90 시간을 취한다. 평균 시간이 롱테일을 가리지 않도록 주의해야 하는데, Agent의 롱테일 작업 압축이 ROI의 큰 부분인 경우가 많기 때문이다.
셋째는 분리 가능한 통합 비용이다. Agent는 MES, SCADA, WMS, QMS를 호출해야 하고 인터페이스 방식이 비용을 결정한다. OPC-UA 설비 데이터 수집, RESTful API MES 작업지시 호출, QMS 결함 기록 직접 데이터베이스 읽기는 개발 작업량과 안정성에서 큰 차이가 있다. ROI 모델은 인터페이스 개발, 공동 디버깅, 이후 유지 보수를 각각 나열해야 하며, 이는 보통 총투자의 40~60%를 차지하고 쉽게 과소평가된다.
핵심 능력 지표로는 자율 작업 완료율(사람 개입 없이 폐루프된 비율), 작업당 평균 도구 호출 수, 사람 에스컬레이션율, 종단 간 P95 지연을 보아야 한다. 이 지표들은 ROI 공식의 분자와 직접 대응한다.
3. 어떤 제조 시나리오의 ROI를 먼저 계산해야 하는가
전자 공장의 SMT 작업장이 하루 8~12회 전환하고 전환당 준비와 초물 확인에 약 25분의 수작업 시간이 들며 그중 8~10분이 선행 품질 데이터와 스텐실 사용 기록을 조회하는 데 쓰인다고 하자. Agent를 배치해 전환 데이터를 집계하고 체크리스트를 생성하며 종단 간 지연이 30초 이내이고 사람 에스컬레이션율이 15% 미만이라면, 전환당 6분 절감은 하루 48~72분, 월 22 근무일 기준 약 17~26시간이 된다. 여기에 초물 불량률 하락으로 인한 재작업 감소는 아직 포함되지 않았다. 이 시나리오는 작업 빈도가 높고 데이터 출처가 명확하며 판단 논리를 열거할 수 있어 회수 기간이 보통 짧다.
자동차 부품 기업의 입고 검사가 공급사 결함 이력, 자재 분류, 배치 추적성 정보를 근거로 샘플링 비율과 검사 항목을 결정해야 한다고 하자. 이 작업은 중빈도(하루 수십 배치)지만 판단이 여러 표와 이력 통계에 의존하고 사람이 항목을 빠뜨리기 쉽다. 여기서 Agent의 가치는 절약된 시간이 아니라 검사 항목 누락률 하락이다. ROI 평가에는 미검출로 인한 라인 정지나 고객 클레임 비용을 포함해야 하며, 이는 인건비 계정이 아니라 위험 비용 계정이다.
세 번째 시나리오는 설비 이상 처리다. 사출기나 다이캐스팅기가 알람을 울리면 작업자는 알람 코드를 조회하고 공정 파라미터 이력을 뒤져 설비를 조정할지 정비를 부를지 결정해야 한다. Agent는 알람 컨텍스트를 모으고 과거 처리 기록을 매칭해 상위 세 가지 추정 원인과 권장 조치를 제시할 수 있다. 여기서 ROI의 어려움은 알람 빈도 변동이 크다는 것이므로, 월평균 알람 건수 곱하기 건당 처리 시간 곱하기 사람 개입 비율로 민감도 분석을 하고 단일 점값을 계산하지 않아야 한다.
4. 평가 시 가장 빠지기 쉬운 함정
첫 번째 함정은 모델 정확도를 ROI로 착각하는 것이다. Agent의 작업 완료율과 모델의 단계별 정확도는 다른 것이다. 작업에 다섯 번의 도구 호출이 필요하고 각각 95% 정확도라면 종단 간 완료율은 77%에 그칠 수 있다. 단일 모델 지표가 아니라 종단 간 폐루프율을 평가해야 한다.
두 번째 함정은 사람 에스컬레이션 비용을 무시하는 것이다. 사람에게 넘기는 것은 공짜가 아니다. 컨텍스트를 전달하고 사람이 다시 판단하는 데 모두 시간이 든다. ROI 모델에서 에스컬레이션된 작업은 수작업 시간의 1.2~1.5배로 계산해야 하며 1배가 아니다.
세 번째 함정은 인터페이스 수로 통합 작업량을 추정하는 것이다. MES 인터페이스 하나가 작업지시, 자재, 품질 테이블을 포함할 수 있고 공동 디버깅의 필드 매핑과 예외 처리가 인터페이스 수 자체를 훨씬 넘는다. 데이터 실체 수 곱하기 필드 매핑 복잡도로 추정하고, OPC-UA나 표준 API가 이미 있는 시스템부터 시작해야 한다.
네 번째 함정은 Agent의 콜드 스타트 비용을 무시하는 것이다. 지식 기반 구축, 프롬프트 튜닝, 이력 데이터 정제는 선행 투자로 별도로 나열해야 하며 보통 첫해 총투자의 20~30%다. 처음부터 공정 간 종단 간 Agent를 만들지 말고 작업 경계가 명확하고 이력 데이터가 어느 정도 완비된 단일 지점 시나리오부터 시작해야 한다.
5. 어떤 시나리오가 이 ROI 방법에 적합하고 어떤 것이 부적합한가
적합한 시나리오의 특성은 하루 20회 이상 작업이 발생하고, 작업당 수작업 시간이 5분을 넘고, 판단이 두 개 이상의 데이터 출처에 의존하며, 오류 비용을 정량화할 수 있는 것(재작업 시간, 라인 정지 분, 클레임 처리 비용)이다. 전자 전환 준비, 입고 검사 항목 결정, 설비 알람 1차 처리, 작업지시 이상 분류가 모두 해당한다.
이 방법을 억지로 적용하지 말아야 할 시나리오는 일주일에 몇 번 수준으로 작업이 드물어 수작업 기준선을 정확히 측정할 수 없고 ROI가 크게 흔들리는 경우, 숙련자의 암묵적 경험에 크게 의존해 Agent가 단기간에 폐루프하기 어렵고 사람 에스컬레이션율이 높을 경우, 데이터 출처 자체의 품질이 나쁘고 필드 누락이 심해 데이터 거버넌스가 Agent ROI보다 먼저인 경우다. 또한 규제가 강한 추적성 시나리오(제약 배치 출하 등)에서는 Agent가 보조 권고만 할 수 있으므로 ROI를 인력 대체가 아니라 의사결정 지원으로 계산해야 한다.
ERP 시대 이후 수십 년간 이 분야에서 일해 온 시스템 벤더로서 120만 고객을 서비스하고 누적 수천만 단말을 배치하며 국내외 시장을 아우른 기업은 Agent 솔루션을 제안할 때 통합 작업량을 더 세밀하게 분해할 수 있는 경우가 많지만, ROI 계정은 결국 기업이 자사의 노동시간 데이터와 오류 비용으로 채워야 한다. 데이터 출처가 명확한 고빈도 지점 하나를 골라 4주 파일럿 측정을 하고 실제 에스컬레이션율과 종단 간 지연을 얻은 뒤 추정을 확장하는 것이 어떤 이론 모델보다 신뢰할 수 있다.