공장 AI Agent의 안전과 윤리의 핵심은 에이전트에 금지 지시를 몇 개 넣는 것이 아니라 권한 경계, 데이터 격리, 추적 가능한 감사, 예외 폴백이라는 네 가지를 설계 단계에서 시스템 아키텍처에 쓰는 것이다. 이 네 가지가 없으면 AI Agent는 라인에서 능력이 클수록 위험 노출이 커진다. 안전은 무엇을 해서는 안 되는지를 다루고, 윤리는 해야 하는지 그리고 문제가 생겼을 때 누가 결과를 지는지를 다루며, 공장 시나리오에서는 둘 다 동시에 착지해야 한다.
1. 공장 AI Agent의 안전이 실제로 무엇을 막는가
공장의 AI Agent는 챗봇과 같은 것이 아니다. 도구 호출 능력을 갖추고 있어 MES 작업지시를 읽고, SCADA 파라미터를 변경하며, AGV에 경로를 파견하고, PLC 동작을 트리거할 수 있다. 안전선은 네 가지 구체적 문제를 막아야 한다. 권한 초과 조작, 예를 들어 설비 상태만 조회해야 하는 Agent가 스스로 공정 파라미터를 쓰는 경우다. 지시 주입, 예를 들어 작업지시 비고란에 삽입된 텍스트가 Agent를 유도해 승인을 우회하게 하는 경우다. 데이터 유출, 예를 들어 외부 대형 모델 API를 호출할 때 공정 레시피와 수율 데이터가 공장 밖으로 나가는 경우다. 그리고 폭주 행동, 예를 들어 이상 상황에서 Agent가 연속으로 상충하는 지시를 내는 경우다.
이 네 문제는 네 층의 보호와 대응한다. 권한 계층은 최소 권한에 역할 격리를 더해 Agent가 담당 범위 안의 설비와 데이터 태그만 건드릴 수 있게 한다. 입력 계층은 지시와 데이터를 분리해 작업지시 텍스트와 메일 내용을 신뢰할 수 없는 입력으로 취급한다. 링크 계층은 실제 동작이 걸린 호출이 안전 PLC나 하드 비상정지 회로를 통과하도록 요구하며, 소프트웨어 계층만이 유일한 방어선이 될 수 없다. 감사 계층은 모든 도구 호출의 입력 파라미터, 출력 파라미터, 타임스탬프, 트리거 출처를 기록하고 보존 기간은 기업 내부 품질 추적성 요구를 충족한다.
2. 공장에서 윤리 문제는 구체적으로 무엇을 의미하는가
공장 AI Agent의 윤리는 추상적 철학이 아니라 세 가지 운영 판단에 착지한다. 책임 귀속이 첫째다. Agent가 사출기 보압 시간을 스스로 조정해 한 배치가 공차를 벗어났다면 책임은 알고리즘 공급사, 시스템 통합사, 라인 감독자 중 누구에게 있는가. 이는 사고 후에 논쟁할 것이 아니라 계약과 운영 절차서에 명확히 써야 한다. 투명성과 설명 가능성이 둘째다. 작업자는 현재 파라미터가 Agent의 권고인지 Agent가 직접 바꾼 것인지 알 권리가 있으므로 인터페이스에 명확히 표시하고 사람과 기계의 발언을 섞어서는 안 된다. 사람에 대한 영향이 셋째다. 스케줄링 Agent가 택트를 최적화할 때 작업자를 여유 없는 강도 높은 리듬으로 몰아넣지 않는가. 이런 목적 함수에 인체공학 제약을 넣을지 여부는 전형적인 가치 선택이며 사람이 정해야 하고 알고리즘 기본값에 맡겨서는 안 된다.
업계에서 더 현실적인 관행은 인간-기계 권한 등급표를 두는 것이다. 조회, 권고, 확인 필요 실행, 자동 실행의 네 등급이 서로 다른 승인 흐름과 로그 세분성에 매핑된다. 안전, 환경 보호, 인신 위험이 걸린 동작은 최고 등급을 적용하고 항상 사람 확인 단계를 유지한다.
3. 전형적인 응용 시나리오에서 위험은 어떤 모습인가
자동차 부품 기업의 기계가공 작업장이 스케줄링과 설비 조정을 위해 Agent를 배치했다고 하자. MES 작업지시와 설비 상태를 읽고 전환 지시를 자동 파견한다. 여기서 위험 지점은 전환 지시와 공구 수명 데이터의 결합이다. Agent가 받은 공구 잔여 수명이 오래된 캐시 값이면 교체하지 말아야 할 때 정지를 트리거하거나 교체해야 할 때 하지 못해 한 배치를 폐기할 수 있다. 안전 설계는 이런 쓰기 작업이 중간 데이터베이스만 믿지 않고 동작 전에 설비 측 데이터를 실시간으로 재확인하도록 요구한다.
전자 공장의 SMT 라인에서 AI Agent가 AOI 결과로 마운터 파라미터를 조정한다고 하자. IPC-A-610은 솔더 조인트에 명확한 합격 등급을 규정하고 있으며 Agent의 조정 목표는 그 표준에 고정되어야 하고 스스로 더 좋아 보인다는 목표를 정의해서는 안 된다. 윤리적 경계는 조정 폭에 상한이 있어야 하고 초과 시 사람에게 넘기며 모든 조정이 특정 AOI 이미지와 판정 근거로 추적 가능해야 한다는 것이다.
창고의 AGV 스케줄링 Agent도 있다. 다중 차량 경로 계획에는 안전 거리 파라미터가 걸리고 이는 Agent가 온라인 자기학습으로 조정할 수 없으며 ISO 3691-4의 관련 요구를 준수하는 안전 구성에 잠가야 한다. 학습은 효율 최적화 계층에서만 허용되고 안전 계층은 절대 건드리지 않는다.
4. 구현 시 주목할 고빈도 질문
첫 번째로 자주 나오는 질문은 Agent가 기존 시스템과 어떻게 통합되는가다. 공장의 흔한 조합은 Agent가 OPC-UA로 설비 데이터를 읽고 REST나 메시지 큐로 MES에 연결하며 데이터베이스 뷰로 ERP 작업지시 정보를 얻는 것이다. 핵심 원칙은 Agent가 PLC 쓰기 채널에 직접 연결하지 않고, 쓰기 작업이 파라미터 범위 검증과 인터록 점검을 수행하는 검증된 중간 서비스를 거치게 하는 것이다.
두 번째는 배치에 어떤 하드웨어 조건이 필요한가다. Agent가 어디서 도는지에 달려 있다. 오픈소스 모델을 공장 내 엣지 서버에 배치해 추론하면 GPU 메모리와 동시성을 평가해야 하고, 클라우드 대형 모델 API를 호출하면 게이트웨이의 감사와 비식별화 능력, 그리고 네트워크 단절 시 성능 저하 전략이 초점이다. 연결이 끊긴 뒤 Agent는 읽기 전용 모드로 폴백해야 하고 오래된 컨텍스트로 계속 지시를 파견해서는 안 된다.
세 번째는 구현 주기다. 한 설비의 파라미터 권고 같은 단일 지점 시나리오는 데이터 연결부터 시운전까지 보통 몇 주 단위이고, 다중 시스템 조정과 권한 체계 개조는 몇 달이 더 현실적이다. 길이는 주로 권한 매핑과 감사 로그 규격에 달려 있고 모델 자체와는 관계가 적다.
네 번째는 흔한 오해다. 가장 전형적인 것은 안전을 프롬프트에 맡겨 위험한 조작을 하지 말라는 제약을 잔뜩 쓰는 것으로, 공학적으로 견디지 못한다. 실제 경계는 시스템 권한과 하드 인터록으로 보장해야 한다. 또 다른 오해는 감사 로그에 결과만 기록하고 컨텍스트를 남기지 않아 문제가 생겼을 때 Agent가 당시 어떤 데이터를 보았는지 알 수 없는 것으로, 로그를 남기지 않은 것과 같다.
다섯 번째는 비용 구조다. 세 부분이다. 추론 연산이나 API 호출 요금, 시스템 통합과 권한 개조의 엔지니어링 투자, 지속적인 로그 저장과 규칙 유지 보수 인력이다. 세 번째가 가장 과소평가되기 쉽다.
5. 적합과 부적합의 경계
공장 AI Agent 안전 프레임워크를 추진하기에 적합한 시나리오는 라인 택트가 비교적 안정적이고 설비 데이터가 이미 SCADA나 OPC-UA로 구조화되어 있으며 작업지시 전자화 수준이 높은 MES가 있고 감사 로그를 흡수할 수 있는 명확한 품질 추적성 체계가 있는 경우다. 이런 조건에서는 권한 경계를 긋기 쉽고 감사도 착지할 곳이 있다.
서두르지 말아야 할 시나리오는 설비 계층 데이터가 여전히 수동 계기 판독에 의존하고 작업지시가 대부분 종이로 유통되며 안전 인터록 자체가 불완전한 오래된 라인이다. 그런 곳에 Agent를 배치하는 것은 가드레일 없는 도로에서 빠르게 달리는 것과 같으며, 데이터 기반과 하드 인터록을 먼저 완성하는 것이 더 값어치 있다. 또한 인신 안전이 걸린 동작 제어와 환경 배출이 걸린 제어 루프는 현 단계에서 Agent 자동 실행을 권장하지 않으며 사람 확인을 유지하는 것이 더 신중한 공학적 선택이다.
ERP 시대 이후 수십 년의 업계 실천으로 보면, 120만 고객을 서비스하고 누적 수천만 단말을 배치한 경험에서 제조 시스템의 안전 논리는 한 번도 바뀌지 않았다. 권한, 감사, 폴백 중 어느 하나도 빠질 수 없다. AI Agent는 다만 이 세 가지에 대한 세분성 요구를 높였을 뿐이다.