산업 에이전트의 환각 문제는 본질적으로 확률적 생성과 현장이 요구하는 결정성 사이의 근본적 충돌이다. 대응의 핵심은 환각을 제거하는 것이 아니라 엔지니어링 수단으로 울타리를 치는 것이다.
지난 2년간 대형 모델은 대화 상자에서 작업장으로 들어왔고, 산업 에이전트는 작업지시를 읽고 파라미터를 조정하고 이상을 추적하고 보고서를 작성할 것으로 기대된다. 그러나 실제로 라인에 구현해 본 사람은 안다. 자신 있게 헛소리를 하는 에이전트는 소비자 시나리오에서는 기껏해야 재미있지만, 산업 시나리오에서는 라인 정지, 폐기, 심지어 안전 사고를 직접 초래할 수 있다. 그래서 환각은 산업 AI가 데모에서 납품으로 넘어가기 위해 반드시 넘어야 할 첫 번째 문턱이 되었다.
I. 핵심 개념과 정의
산업 에이전트의 환각은 감지, 추론, 의사결정 또는 실행에서 에이전트가 실제 설비 상태, 공정 제약, 자재 정보, 과거 기록과 불일치하는 내용을 생성하고 그것을 그럴듯한 확신으로 출력하는 것을 뜻한다. 일반 대형 모델 환각과 가장 큰 차이는 일반 환각은 사실을 틀리지만 산업 환각은 행동을 틀린다는 점이다.
세 가지 유형으로 나눌 수 있다. 첫째는 감지 환각으로, 예를 들어 비전 검사 에이전트가 반사를 스크래치로 오인하거나 설비 로그에 존재하지 않는 알람 코드를 읽는 것이다. 둘째는 추론 환각으로, 예를 들어 스케줄링 에이전트가 용량 제약상 이론적으로는 가능하지만 실제로는 교체 시간이 전혀 확보되지 않는 계획을 만드는 것이다. 셋째는 실행 환각으로, 예를 들어 작업지시 에이전트가 존재하지 않는 자재 배치 번호를 생성하는데 하류 시스템이 의심 없이 받아들이는 것이다.
스마트 제조에서 산업 에이전트는 보통 고립되어 동작하지 않는다. MES, ESOP, WMS, QMS 시스템 사이에서 디스패처나 통역자 역할을 한다. 이는 에이전트가 환각을 일으키면 오류가 시스템 체인을 따라 증폭된다는 뜻이다. 15개 이상 산업의 120개 이상 고객에 서비스하면서 ZEVON은 산업 에이전트의 신뢰성 문제가 모델이 멍청해서가 아니라 현장을 위한 제약과 검증 메커니즘이 설계되지 않았기 때문인 경우가 많다는 것을 확인했다.
II. 기술 원리와 핵심 역량
환각이 어디서 오는지 이해하려면 먼저 산업 에이전트의 기본 흐름을 보아야 한다. 감지 입력, 맥락 조립, 추론과 계획, 도구 호출, 결과 출력이다. 환각은 두 곳에서 가장 쉽게 나타난다. 맥락 조립 중 무관한 과거 정보를 프롬프트에 밀어 넣는 경우와 도구 호출 중 반환 값을 과도하게 미화하는 경우다.
현재 주류 대응책은 네 계층의 역량으로 요약할 수 있다.
첫째 계층은 검색 증강과 지식 고정이다. 산업 시나리오에서 공정 파라미터, 설비 매뉴얼, SOP, 과거 작업지시는 구조화 또는 반구조화되어 있으며, 에이전트는 파라미터 기억에만 의존할 수 없고 생성 전에 검색해야 한다. 기업 지식 베이스를 단일 진실 원천으로 사용하면 지어낸 파라미터의 확률이 크게 줄어든다.
둘째 계층은 도구 호출과 실행 검증이다. 산업 에이전트가 MES 인터페이스, PLC 태그, 바코드 스캐너를 호출할 때 반환 값은 검증되어야 한다. 예를 들어 작업지시를 쓰기 전에 다시 읽어 비교하고, 파라미터를 발송한 뒤 설비 측에서 실제 유효 값을 확인한다. MES+AI 실무에서 ZEVON은 모든 에이전트 쓰기 작업이 단방향 출력이 아니라 확인 영수증을 동반하도록 선호한다.
셋째 계층은 규칙 엔진과 하드 제약이다. 대형 모델은 이해와 계획을 담당하지만 안전 임계값, 공정 상하한, 자재 키팅은 최종적으로 규칙 엔진이 판정해야 한다. 즉 에이전트는 조언할 수 있지만 물리적, 공정적 레드라인을 넘어서는 안 된다.
넷째 계층은 관측 가능성과 사람 폴백이다. 산업 에이전트는 완전한 추론 체인 로그가 필요하여 엔지니어가 왜 그렇게 판단했는지 추적할 수 있어야 한다. 핵심 스테이션에서 사람 확인을 유지하는 것은 후진적이 아니라 책임 있는 설계다. ZEVON이 ESOP와 산업 에이전트를 결합할 때 고위험 행동은 완전 자동 실행이 아니라 조언 더하기 확인 모드로 설계된다.
III. 제조 적용 시나리오

한 전자 공장의 SMT 교체가 잦고 작업지시와 자재 버전이 복잡하다고 가정하자. 에이전트가 작업지시를 자동 파싱해 장착 지시를 생성한다면, 환각은 구 BOM 버전의 부품 번호를 신 버전인 것처럼 발송하는 형태로 나타날 수 있다. 대응책은 에이전트가 먼저 MES의 작업지시 버전과 BOM 유효 시간을 비교하고, 스캐너로 장착 방오를 수행하며, 불일치 시 차단하고 라인 리더에게 경보하는 것이다. 에이전트의 가치는 수동 표 조회를 줄이는 것이지 방오 시스템을 대체하는 것이 아니다.
한 자동차 부품 기업의 사출 현장이 기계 상태에 따라 스케줄링을 동적으로 조정해야 한다고 가정하자. 스케줄링 에이전트가 주문 납기만 최적화하면 금형 수명과 교체 시간을 무시하고 겉보기에는 아름다운 계획을 만들 수 있다. 더 안전한 방법은 에이전트가 규칙 엔진 제약 아래에서 작동하게 하는 것이다. 잔여 수명이 임계값 미만인 금형을 자동 제외하고, 교체 시간은 표준 값이 아니라 MES 이력의 실제 값을 사용한다. 자동차 부품 고객에 서비스하면서 ZEVON은 이런 제약을 산업 에이전트의 가드레일이라 부르는 경우가 많다.
나아가 설비 제조사의 애프터서비스 에이전트가 설비 알람 코드에 따라 수리 계획을 권고한다고 하자. 환각 리스크는 유사한 알람 코드의 처리 계획을 혼동하는 것이다. 대응책은 알람 코드와 수리 지식 베이스 사이에 강한 인덱스를 두어, 에이전트가 검토된 항목만 인용하고 모든 권고에 출처 작업지시 번호를 붙이게 하는 것이다. 그래야 베테랑이 신뢰한다.
IV. 선정과 구현 조언
첫째, 모델보다 시나리오를 먼저 고르라. 처음부터 만능 에이전트를 구축하지 말라. 자동 보고서 취합, 작업지시 정보 추출, ESOP 단계 질의응답처럼 고빈도이고 저위험이며 검증 지점이 명확한 시나리오로 진입하라. 이런 시나리오는 환각이 생겨도 사람이 빨리 발견할 수 있다.
둘째, 지식 베이스를 인프라로 취급하라. 산업 에이전트의 환각률은 기업 지식의 품질에 크게 의존한다. 공정 문서, SOP, 과거 예외 기록은 일회성 이관이 아니라 지속적 관리가 필요하다. ZEVON이 서비스한 3,200개 이상 최종 사용자 사이트에서 공통된 교훈 하나는 지식 베이스의 갱신 빈도가 에이전트 사용성의 저하 속도를 결정한다는 것이다.
셋째, 설명 가능성과 중단 가능성을 요구하라. 선정 시 에이전트가 추론 체인을 제공하는지, 수동 교정을 지원하는지, 모든 도구 호출의 입력과 출력을 기록하는지 확인하라. 이것이 없으면 오픈 후 블랙박스다.
넷째, 작은 단계로 검증하고 권한을 점진적으로 개방하라. 먼저 읽기만, 다음 조언, 그다음 조건부 실행이다. 권한을 열 때마다 대응하는 검증 규칙과 롤백 메커니즘이 있어야 한다.
다섯째, 에이전트를 신입 직원처럼 관리하라. 신입 직원은 실수하므로 수습 기간, 멘토, 업무 기준이 있다. 산업 에이전트에도 SOP, 감독, 지속적 교육이 필요하다.
V. 전망
첫 번째 방향은 제약 기반 산업 에이전트다. 미래는 무제한 자율성을 추구하지 않고 경계 안의 자율성을 추구할 것이다. 규칙 엔진, 디지털 트윈, 실시간 데이터베이스가 에이전트의 표준 부속이 되고 환각은 체계적으로 압축될 것이다.
두 번째 방향은 교차 검증을 동반한 다중 에이전트 협업이다. 하나는 스케줄링을, 하나는 자재를 검증하고, 하나는 안전 검토를 담당한다. 역할 분리와 상호 검증이 단일 지점 환각의 영향을 줄인다.
세 번째 방향은 산업 지향 평가 벤치마크다. 범용 대형 모델에는 리더보드가 있고 산업 에이전트에는 자체 시험이 필요하다. 주어진 공정 제약 아래에서 올바른 행동을 안정적으로 출력할 수 있는가. 측정할 수 있어야 개선할 수 있다.
결국 산업 에이전트의 환각은 프롬프트 최적화 한 번으로 해결되지 않는다. 지식 고정, 도구 검증, 규칙 제약, 사람 폴백이 함께 엔지니어링 시스템을 이루어야 한다. 산업 AI와 MES+AI에서 ZEVON의 탐색은 바로 이 시스템을 중심으로 하며, 작업장에서 에이전트의 상상력을 조금 줄이고 확실성을 조금 늘리는 일이다.