산업용 Agent의 환각 문제는 본질적으로 확률적 생성과 결정론적 실행 사이의 불일치다. 제조 현장에서는 모델이 스스로 정직해지기를 기대하기보다 산업 데이터, 규칙 엔진, 인간 폴백의 3층 메커니즘으로 이를 제약해야 한다.
지난 2년간 AI Agent는 채팅창에서 작업장으로 이동했고, 산업용 AI와 로봇은 제조 디지털화의 유행어가 되었다. 많은 공장 관리자가 같은 질문을 한다. 대형 모델은 사무실에서 문안을 작성할 때는 괜찮지만, 라인 스케줄링과 작업 지시 발행, 파라미터 조정을 맡겼을 때 헛소리를 하면 어떻게 하는가. 우려는 정당하다. 산업 현장은 오류를 매우 용납하지 못하기 때문이다.
1. 핵심 개념과 정의
먼저 산업용 Agent의 환각이란 정확히 무엇인가. 산업용 Agent는 제조 환경에 배포되어 설비 상태와 생산 지시를 인지하고, 스스로 행동을 계획하며, 도구 인터페이스를 호출해 작업을 수행할 수 있는 AI Agent다. 일반 챗봇과 가장 큰 차이는 출력이 곧바로 PLC 명령, 작업 지시 스케줄, 자재 호출로 이어진다는 점이다.
산업용 Agent의 환각은 여러 구체적 형태로 나타난다. 파라미터 환각은 존재하지 않는 공정 온도나 토크 값을 만들어내는 경우다. 설비 상태 환각은 정지한 설비를 가동 중이라고 보고하는 경우다. 인과 환각은 무관한 두 품질 결함 사이에 억지로 인과를 부여하는 경우다. 도구 호출 환각은 존재하지 않는 인터페이스나 데이터 테이블을 호출하는 경우다. 소비자 시나리오에서는 단지 잘못된 단어에 그치지만, 생산 현장에서는 충돌, 배치 폐기, 심지어 안전 사고로 이어질 수 있다.
2. 기술 원리와 핵심 역량
대응책을 이해하려면 먼저 환각이 어디서 오는지 이해해야 한다. 산업용 Agent는 보통 대형 언어 모델로 작업 계획을 세우고, 도구 호출을 통해 MES, SCADA, PLC, WMS 등 시스템에 연결된다. 대형 모델의 기반은 확률적 예측이다. 사실에 맞는 내용보다 그럴듯해 보이는 내용을 생성하는 경향이 있다. 산업 지식이 구조화된 방식으로 주입되지 않거나 컨텍스트에 실시간 데이터가 없으면, 모델은 학습 코퍼스의 통계적 패턴으로 빈틈을 메우고 환각이 나타난다.
대응하는 핵심 역량은 세 층으로 나뉜다. 첫째는 검색 증강 생성, 즉 RAG다. 설비 매뉴얼, 공정 문서, 과거 작업 지시를 벡터 저장소로 만들어 Agent가 답변 전에 조회하게 하여 조작을 줄인다. 둘째는 규칙 엔진과 지식 그래프다. 온도가 임계값을 초과하면 반드시 알람이 발생해야 한다와 같은 강제 제약을 결정론적 규칙으로 부호화하여 모든 Agent 출력이 이를 통과하도록 한다. 셋째는 도구 호출 검증이다. MES나 PLC 인터페이스를 호출하기 전에 파라미터 범위와 권한을 검사하고, 호출이 유효하지 않으면 실행을 거부하고 사람에게 에스컬레이션한다.

MES+AI 방향에서 ZEVON의 ESOP(Electronic Standard Operating Procedure) 같은 시스템은 전자 작업 지시와 Agent 역량을 결합하고 있다. 전자 공장을 예로 들면, 라인 전환 시 Agent가 새 SOP를 자동으로 푸시하지만, 생성한 단계가 공정 문서와 충돌하면 시스템이 이를 차단하고 사람의 확인을 요청한다. 이러한 생성 후 검증 아키텍처는 현재 산업용 Agent를 양산에 투입하는 더 현실적인 경로다.
3. 제조 적용 시나리오
시나리오 1은 전자 공장의 SMT 라인 전환이다. Agent는 작업 지시에 따라 스텐실, 솔더 페이스트, 리플로 프로파일을 자동으로 조회해야 한다. Agent가 존재하지 않는 리플로 프로파일을 환각하면 결과는 냉납 배치다. 대응책은 Agent가 조회와 추천만 하게 하고, 최종 파라미터는 규칙 엔진이 표준 라이브러리와 대조한 뒤 발행하며, 작업자가 단말에서 확인하도록 하는 것이다.
시나리오 2는 자동차 부품사의 예지 보전이다. 진동 센서 데이터를 읽은 Agent는 베어링이 3일 후 고장 난다는 결론을 환각할 수 있다. 더 안전한 방법은 Agent가 이상 특징만 추출하고, 진동 분석 모델이 잔여 수명 범위를 제시하며, Agent가 수리 작업 지시 초안을 작성해 설비 책임자가 승인하게 하는 것이다.
시나리오 3은 신에너지 배터리 공장의 자재 키팅 검사다. Agent는 WMS와 MES를 넘나들며 셀, 분리막, 전해액의 재고와 배치를 검증해야 한다. 자재가 완비되었다고 환각하면 라인이 부품을 기다리며 멈춘다. 대응책은 모든 키팅 판단에 데이터 출처와 타임스탬프를 붙이고, 실시간 WMS 인터페이스와 2차 교차 검증을 거치게 하는 것이다.
이 시나리오들의 공통점은 Agent가 스스로 최종 결정을 내리지 않는다는 것이다. 정보를 종합하고 문서 초안을 작성하고 이상을 표시하며, 결정론적 판단은 규칙과 사람에게 맡긴다. ZEVON은 15개 이상 산업과 120개 이상 고객을 서비스하며 비슷한 패턴을 관찰했다. 산업 AI의 가치는 종종 완전 자동화가 아니라 실수를 줄이고 더 빠르게 대응하는 데 있다.
4. 선정과 도입 권고
첫째, 모델보다 시나리오를 먼저 고른다. 공장 전체 Agent부터 시작하지 말고 SOP 질의응답, 작업 지시 초안 작성, 설비 알람 원인 분석 같은 단일 지점에서 시작한다. 시나리오가 좁을수록 환각을 통제하기 쉽다.

둘째, 공급업체에 환각 억제 메커니즘을 설명하도록 요구한다. 세 가지에 집중한다. RAG가 있는가, 규칙 엔진이 있는가, 사람 확인 단계가 있는가. 하나라도 빠지면 의문을 제기해야 한다.
셋째, 데이터 기반이 먼저다. MES, WMS, SCADA의 데이터 자체가 부정확하면 Agent는 오류를 증폭시킬 뿐이다. 데이터 거버넌스를 먼저 하고 Agent를 논해야 한다.
넷째, 그레이 릴리스 기간을 둔다. 초기에는 Agent가 제안만 하고 실행하지 않으며, 모든 출력은 로그로 남겨 추적 가능하게 하고, 일정 기간 운영 후 권한을 점진적으로 개방한다.
다섯째, 인간 폴백 프로세스를 수립한다. Agent 출력이 중요한 행동을 촉발하기 전에는 명확한 확인 또는 거부 경로가 있어야 하며, 작업자에게 동의 버튼만 남겨두어서는 안 된다.
5. 전망
첫 번째 방향은 설명 가능성이 산업용 Agent의 표준이 되는 것이다. 향후 구매에서는 Agent가 결론과 함께 근거 체인을 제시하도록 요구할 것이다. 예를 들어 어떤 공정 문서나 어떤 센서 판독값을 인용했는지다.
두 번째 방향은 대형 모델과 소형 모델의 협업이다. 대형 모델은 계획과 자연어 상호작용을, 소형 모델은 결정론적 예측과 이상 탐지를 맡아 각자 제 역할을 하면 수치 연산에서의 환각이 줄어든다.
세 번째 방향은 Agent와 ESOP, MES의 심층 통합이다. 작업 지시는 더 이상 정적 문서가 아니라, Agent가 실시간으로 생성하고 규칙이 검증하며 사람이 확인하는 동적 지시 스트림이 될 것이다. ZEVON의 ESOP가 바로 이를 탐구한다. 별도의 채팅 창을 덧붙이는 대신 AI 역량을 제조 실행의 주 흐름에 내장하는 것이다.
결국 산업용 Agent의 환각 문제는 더 강력한 모델로 바꾼다고 해결되지 않는다. 엔지니어링된 제약 시스템이 필요하다. 확률적 생성을 결정론적 실행이라는 우리 안에 가둘 때만 산업 AI는 생산 현장에서 확고한 발판을 얻을 수 있다.