AI Agent ROI 평가의 핵심은 몇 명을 대체하는지를 세는 것이 아니라, 얼마나 많은 결정 지점에서 사람의 판단과 사람의 조작으로 이루어지던 폐루프 시간을 단축하고 숨은 재작업과 정지 비용을 얼마나 제거하는지를 세는 것이다. 즉 평가 대상은 인원 대체표가 아니라 결정 빈도 곱하기 결정당 절감 곱하기 결정 품질 개선이다. 아래에서 이를 실행 가능한 방법으로 분해한다.
1. AI Agent가 제조에서 실제로 해결하는 문제
AI Agent는 챗봇이 아니라 목표를 가지고 도구를 호출하며 상태를 읽고 여러 단계를 순차 실행할 수 있는 소프트웨어 실체다. 공장에 배치되면 시스템에는 데이터가 있고 사람에게는 경험이 있지만 조작이 그 사이에 있는 틈을 해결한다. 예를 들어 MES에는 작업지시 진도가, SCADA에는 설비 상태가, ERP에는 자재 재고가 있지만 이 정보를 엮어 스케줄링 한 번을 조정하려면 계획 담당자가 전화하고 표를 확인하고 주문을 손으로 고쳐야 했고 왕복 30분이 걸렸다. AI Agent의 가치는 그 30분을 몇 분으로 압축하고 24시간 주문을 놓치지 않는 데 있다.
전통적 자동화 스크립트와의 차이는 스크립트는 고정 규칙으로 돌다가 예외에서 멈추지만 에이전트는 예외를 읽고 이력을 확인하고 안을 제시하며 확인을 기다리거나 위임 범위 내에서 직접 실행할 수 있다는 점이다. 그래서 ROI 평가의 첫 기준점은 이 연결고리가 하루에 몇 건의 수동 판단을 요구하는가이며, 빈도가 너무 낮으면 Agent 투자를 상각할 수 없다.
2. ROI 평가를 뒷받침하는 기술 원리와 핵심 능력
평가 방법 자체는 세 층으로 나눌 수 있다. 첫째는 비용 측으로 Agent 플랫폼 라이선스나 구독, MES, SCADA, ERP와의 인터페이스 개발, 지식 기반과 프롬프트 엔지니어링 구축, 가동 후 운영과 모델 호출 요금이다. 둘째는 이익 측으로 직접 측정 가능한 항목과 전환 가능한 항목으로 나뉜다. 직접 측정 항목은 스케줄링 조정 시간, 보고서 생성 시간, 예외 대응 시간이고, 전환 항목은 정지 감소로 얻은 산출량과 불량률 하락으로 절감한 자재 및 인건비다. 셋째는 위험 할인으로 사람 검토가 필요한 Agent 권고 비율과 오판으로 인한 재작업 비용을 이익에서 차감해야 한다.
핵심 능력이 ROI 상한을 결정한다. 첫째, 도구 호출 능력으로 OPC-UA로 설비를 읽고 API로 MES 작업지시를 쓸 수 있는지가 폐루프 가능 여부를 결정한다. 둘째, 상태 기억과 다단계 계획으로 긴 프로세스에서 컨텍스트를 잃지 않는지다. 셋째, 설명 가능성과 감사 가능성으로 모든 권고가 데이터 출처와 규칙으로 추적되어야 하며 이는 ISO 9001 추적성 요구 아래의 하드 임계값이다. 업계의 흔한 관행은 결정 지점 목록으로 후보 시나리오를 나열하고 빈도, 결정당 시간, 오류 비용으로 점수화한 뒤 어디서 시작할지 정하는 것이다.
3. 제조에서 AI Agent의 전형적인 응용 시나리오
전자 공장의 SMT 전환이 잦고 전환마다 스텐실, 피더 스테이션, 프로그램 버전, 초물 검사 결과를 확인해야 한다고 하자. 전환 조정은 무전기와 종이 체크리스트에 의존해 평균 40분이 걸렸다. Agent를 배치하면 작업지시 BOM과 피더 스테이션 표를 자동 대조하고 스텐실 수명 기록을 조회하며 초물 검사 작업을 푸시해 전환 조정을 15분 이내로 압축한다. 여기서 ROI는 전환 빈도 곱하기 절감 분 곱하기 라인 시간당 원가로 계산한다.
자동차 부품 기업이 사출기 30대를 운영하고 공정 파라미터 조정이 숙련 경험에 의존한다고 하자. Agent는 금형 온도, 압력, 사이클 데이터에 연결해 금형 교체 후 파라미터 권고를 제시하고 조정 로그를 기록한다. 이익은 사람을 대체하는 것이 아니라 시사출을 단축하고 초물 폐기를 줄이는 것이다. 평가는 막연한 효율 개선이 아니라 시사출 횟수 감소와 초물 폐기율이라는 두 지표를 보아야 한다.
또 다른 흔한 시나리오는 설비 예외 대응이다. 기계가공 작업장에서 경보 후 작업자가 매뉴얼을 확인하고 정비를 찾고 작업지시를 작성해야 한다고 하자. Agent는 경보 코드를 읽고 과거 처리 기록을 매칭해 권고가 포함된 작업지시를 자동으로 열고 대응 시간을 평균 25분에서 8분으로 줄인다. 이런 시나리오의 ROI는 경보 빈도에 극히 민감하며 빈도가 낮은 라인은 회수 기간이 눈에 띄게 길다.
4. 평가에서 주목할 몇 가지 고빈도 질문
인터페이스 통합 비용은 어떻게 계산하는가. 제조 현장 프로토콜은 혼재해 OPC-UA, Modbus, Profinet이 공존하고 MES 측은 대부분 REST나 직접 데이터베이스 연결을 쓴다. 인터페이스 작업량은 에이전트 수가 아니라 데이터 소스당 인일로 산정한다. 데이터 소스가 열 개를 넘는 시나리오에서는 인터페이스 비용이 플랫폼 요금 자체를 넘는 경우가 흔하다.
구현에 대략 얼마나 걸리는가. 단일 지점 시나리오는 요구 매핑에서 가동까지 보통 4~8주이고, MES와 SCADA를 넘나드는 다중 시스템 조정은 2~3개월로 잡는 것이 더 신중하다. 주기가 길어지는 주원인은 모델이 아니라 데이터 품질과 권한 승인이다.
어떤 비용 항목이 가장 쉽게 초과하는가. 지식 기반 유지 보수와 수동 검토 시간이 가장 과소평가되기 쉽다. 가동 초기에는 사람 확인 단계를 유지하는 것이 좋고 그 시간을 ROI에 정직하게 계상해야 하며 그렇지 않으면 계산된 회수 기간은 허구다.
흔한 오해는 무엇인가. 대체 인원 수를 유일한 지표로 쓰는 것이다. Agent는 대부분 기존 인력을 조작에서 검토로 이동시키며 인원은 줄지 않아도 1인당 산출과 대응 속도가 달라진다. 또 다른 오해는 예외 시나리오의 오판 비용을 무시하는 것으로, 평가표에 오판 재작업 비용 항목을 별도로 넣는 것이 좋다.
5. 어떤 시나리오가 AI Agent에 적합하고 어떤 것이 부적합한가
적합한 시나리오는 몇 가지 특성을 공유한다. 결정 빈도가 높고(하루 여러 번), 규칙과 경험을 구조화할 수 있으며, 데이터 소스에 인터페이스를 붙일 수 있고, 오류 비용이 검토 폴백으로 통제 가능하다. 스케줄링 조정, 전환 조정, 경보 대응, 보고서 통합, 입고 검사 판정 지원이 모두 이 범위에 든다.
부적합한 시나리오도 분명하다. 첫째, 연 몇 번 수준의 라인 레이아웃 변경처럼 빈도가 극히 낮은 결정은 투자를 상각할 수 없다. 둘째, 공정이 매우 비표준적이고 데이터가 거의 시스템에 없어 Agent가 판단할 입력이 없는 경우다. 셋째, 안전 인터록을 직접 제어하는 것처럼 오류 비용이 극히 높고 검토가 불가능한 연결고리는 현 단계에서 사람이나 전용 안전 시스템에 남겨야 한다. 또한 입고 일관성이 나쁘고 반사가 강하거나 변형이 큰 비전 판정 시나리오는 데이터 라벨링과 오판 비용을 별도로 평가해야 하며 표준 ROI 모델을 그대로 적용할 수 없다.
ERP 시대 이후 수십 년간 구축된 벤더 경험, 120만 고객 서비스와 누적 수천만 단말 배치, 국내외 시장 커버리지로 볼 때 ROI를 정확히 계산할 수 있는지는 모델이 얼마나 강한지보다 결정 지점 목록과 결정당 시간을 먼저 측정했는지에 달려 있다. 사기 전에 계산하는 것보다 계산하기 전에 측정하는 것이 훨씬 신뢰할 수 있다.