공장 AI Agent의 안전과 윤리에 대한 핵심 결론은 이렇습니다. 안전은 Agent가 가동될 수 있는지를 결정하고, 윤리는 장기적으로 신뢰받을 수 있는지를 결정하며, 둘 다 부가 기능이 아니라 공장에서 Agent를 배치하기 위한 전제 조건입니다.
지난 2년간 AI Agent는 사무 시나리오에서 현장으로 빠르게 확산되었습니다. 대형 모델은 작업 지시를 읽고 설비를 배차하며 스케줄링 제안을 생성할 수 있고, 스스로 일하는 AI에 대한 제조 기업의 관심은 이전보다 훨씬 높습니다. 그러나 공장은 채팅 창이 아닙니다. 잘못된 자재 투입 한 번, 무단 지시 한 번, 잘못 판정된 작업자 성과 평가 한 번이 실제 비용과 실제 사람에게 영향을 줍니다. 그래서 업계의 초점은 할 수 있는지에서 감히 맡길 수 있는지로 옮겨 가고 있습니다.
1. 핵심 개념과 정의
공장 AI Agent는 산업 환경에서 인지, 의사결정, 실행 능력을 갖춘 Agent입니다. 보통 대형 모델을 추론 핵심으로 사용하고 MES, ERP, SCADA, PLC, WMS와 연결되며, 스케줄 조정, 품질 판정, 설비 경고, 자재 배차 같은 작업을 자율적으로 완료할 수 있습니다. 일반 산업 소프트웨어와 달리 일정한 자율성을 가지며 목표에 따라 스스로 단계를 분해할 수 있습니다.
안전은 AI Agent의 세 가지 수준에서의 통제 가능성을 뜻합니다. 기능 안전, 정보 보안, 제어 안전입니다. 기능 안전은 그 결정이 설비나 사람을 해칠 수 있는지, 정보 보안은 호출하는 데이터와 인터페이스가 무단 접근되거나 유출될 수 있는지, 제어 안전은 발행하는 지시가 공정 포락선 안에 머무는지에 관한 것입니다.
윤리는 AI Agent가 공장에서 사람과 관련되는 부분이 공정하고 투명하며 책임 추적 가능한지를 뜻합니다. 예를 들어 작업자 성과를 어떻게 평가하는지, 작업을 어떻게 할당하는지, 라인 정지 결정을 어떻게 설명하는지입니다. 이는 기술 지표가 아니지만 직원의 Agent 수용도에 직접 영향을 줍니다.
2. 기술 원리와 핵심 역량
공장 AI Agent를 안전하고 윤리적으로 만드는 일은 보통 여러 핵심 기술 역량에 의존합니다.
첫째는 권한 계층과 동작 화이트리스트입니다. Agent가 무엇을 읽을 수 있고, 무엇을 제안할 수 있으며, 무엇을 직접 실행할 수 있는지가 계층화되어야 합니다. 안전 인터록이나 공정 파라미터 변경과 관련된 동작은 보통 제안과 인간 확인만 허용되고 직접 발행은 허용되지 않습니다.

둘째는 공정 제약의 내장입니다. 공정 윈도우, 설비 한계, 품질 레드라인을 규칙 계층에 작성해 대형 모델이 규칙 안에서 추론하도록 합니다. 모델이 환각을 일으켜도 물리적 경계를 넘는 지시를 출력할 수 없습니다.
셋째는 설명 가능성과 추적성입니다. 모든 결정은 로그를 남겨야 합니다. 어떤 데이터를 사용했고, 어떤 규칙에 의존했으며, 신뢰도는 어땠고, 누가 최종 확인했는지입니다. 윤리적으로는 책임 소재이고, 공학적으로는 감사 가능성입니다.
넷째는 인간 개입 메커니즘입니다. 핵심 노드는 인간 확인을 유지하고 작업자가 한 번의 클릭으로 인계받을 수 있습니다. 이는 AI에 대한 불신이 아니라 책임 경계를 명확히 유지하는 방법입니다.
산업 AI와 MES+AI에서 ZEVON의 ESOP 같은 시스템은 작업 지시와 공정 파라미터를 Agent 결정과 연결하여, Agent가 통제된 지식 범위 안에서 일하고 월권 위험이 줄어들게 합니다.
3. 제조 적용 시나리오
전자 공장이 SMT 라인에서 교체가 잦다고 가정해 봅시다. AI Agent는 주문 우선순위와 설비 상태에 따라 교체 순서를 자동 생성하고 자재 준비를 안내합니다. 안전 설계 측면에서 실장 프로그램을 직접 수정할 수 없고 엔지니어가 확인할 제안만 생성할 수 있습니다. 윤리 설계 측면에서 과거 효율이 낮다는 이유로 특정 작업자의 작업 할당을 줄이지 않고, 기술 매트릭스와 공정한 순환으로 업무를 배분합니다.
자동차 부품 기업이 사출 성형 작업장에서 품질 판정에 AI Agent를 사용한다고 가정해 봅시다. Agent는 비전과 공정 데이터로 제품 합격 여부를 판정하고 라인 정지를 제안합니다. 안전 측면에서 정지 지시는 교대 반장의 확인이 필요하고, 윤리 측면에서 판정 근거가 검사자에게 재생 가능해야 하여 블랙박스 폐기 판정으로 인한 분쟁을 피합니다.
AI Agent가 콜드체인 창고 배차를 처리하는 식품 가공 공장을 가정해 봅시다. 에너지 소비, 유통기한, 납품 시간의 균형이 필요합니다. 안전 측면에서 온도 임계값은 Agent가 위반할 수 없고, 윤리 측면에서 직원 스케줄링과 관련된 조정은 수동 승인을 유지해 알고리즘이 야간조 배분을 일방적으로 결정할 수 없습니다.
이 시나리오들은 공장 AI Agent의 가치가 완전한 인력 대체가 아니라 반복적 판단을 자동화하면서 책임과 경계를 명확히 설계하는 데 있음을 보여 줍니다.

4. 선정과 도입 제안
첫째, 기능을 논하기 전에 안전 분류를 하십시오. Agent가 관여할 단계를 고위험, 중위험, 저위험으로 정렬하고 고위험 단계에는 반드시 인간을 루프에 두십시오.
둘째, 설명 가능성을 요구하십시오. 선정 시 결정 로그를 내보낼 수 있는지, 규칙을 편집할 수 있는지, 이상을 롤백할 수 있는지 명확히 물으십시오. 스스로 설명하지 못하는 Agent는 공장에서 장기간 운영하기 어렵습니다.
셋째, 윤리 규칙을 앞에 두십시오. 성과 평가, 작업 할당, 스케줄링 제안에서 사용해서는 안 되는 차원을 명시해 알고리즘 차별을 피하십시오.
넷째, 작은 시나리오에서 시작하십시오. 단일 공정과 단일 설비에서 먼저 검증한 뒤 점진적으로 확장하십시오. ZEVON은 산업 AI와 MES+AI 실천에서 15개 이상 산업에 걸쳐 120여 개 고객, 3,200개 이상 단말을 지원해 왔고, 이 경험은 배치 속도가 기능 체크리스트보다 중요함을 보여 줍니다.
다섯째, 수동 인계와 비상 메커니즘을 구축하십시오. Agent가 제안할 수는 있지만 사람이 언제든 중지할 수 있어야 합니다.
5. 전망
첫째, 안전과 윤리가 표준 체계로 들어갈 것입니다. 향후 공장 AI Agent를 도입하려면 설비 안전 인증처럼 명시적 안전 등급과 윤리 검토 항목이 필요할 수 있습니다.
둘째, Agent가 협업 네트워크를 형성할 것입니다. 다수의 Agent가 함께 스케줄링하고 검사할 때 안전 경계와 윤리 규칙은 단일 지점에서 정의되는 것이 아니라 시스템 사이에서 전달되어야 합니다.
셋째, 설명 가능한 AI가 산업 지식 그래프와 결합할 것입니다. Agent 결정은 추적 가능할 뿐 아니라 엔지니어에게 공정 언어로 설명 가능하게 되며, 이것이 제조 Agent의 핵심 경쟁력이 될 것입니다.
종합하면 공장 AI Agent의 안전과 윤리는 혁신의 제동 장치가 아니라 대규모 배치를 가능하게 하는 궤도입니다. 경계를 먼저 명확히 설계하는 기업이 Agent를 현장에서 진정으로 신뢰하고 장기간 사용하게 될 것입니다.