공장 AI Agent의 안전과 윤리에 대한 핵심 결론은 이것이다. 안전은 그것이 임의로 해서는 안 되는 일을 다루고 윤리는 그것을 해야 하는지를 다루며, 둘 다 사고 후에 덧대는 것이 아니라 라인 배포 전에 시스템 제약으로 작성되어야 한다. 제조 기업의 실용적 판단 기준은 이것이다. AI Agent가 제어 명령을 내리거나 공정 파라미터를 변경하거나 사람의 판단을 대체할 수 있는 곳에는 반드시 권한 경계, 추적 가능한 로그, 사람 대체 메커니즘이 함께 있어야 하며 셋 중 하나도 빠져서는 안 된다.
1. 공장 AI Agent에서 안전이란 무엇이며 전통적 산업 소프트웨어 안전과 어떻게 다른가
전통적 산업 소프트웨어의 안전은 주로 외부 공격과 시스템 붕괴를 막는 것이며 경계가 비교적 명확하다. 공장 AI Agent의 안전 경계는 훨씬 넓고 최소 세 계층을 포함한다.
첫째 계층은 행동 안전으로, Agent가 스스로 내리는 결정이 공정이 허용하는 범위를 넘어서는 안 된다는 것이다. 사출기 파라미터 조정을 담당하는 Agent가 금형 온도를 올린다면 공정 카드에 명시된 구간 안에 머물러야 하고 수율 최적화라는 이름으로 상한을 넘어서는 안 된다.
둘째 계층은 권한 안전이다. Agent가 어떤 데이터를 읽고 어떤 명령을 쓸 수 있는지는 최소 권한 원칙으로 분리되어야 한다. SCADA 실시간 데이터를 읽는 것과 PLC에 설정값을 직접 쓰는 것은 완전히 다른 권한 수준이며 같은 Agent에 묶여서는 안 된다.
셋째 계층은 페일 세이프 동작이다. Agent가 판단할 수 없거나 불확실할 때는 그럴듯해 보이는 틀린 결론을 억지로 내지 않고 적극적으로 물러나 사람에게 넘겨야 한다. 이는 전통 소프트웨어의 오류 팝업 논리와 다르며, Agent의 조용한 실패가 더 위험하다.
2. 공장에서 AI Agent가 안전하고 통제 가능하려면 어떤 핵심 역량이 필요한가
안전이 실제로 구현되려면 Agent 자체에 몇 가지 하드 역량이 있어야 하고, 하나라도 빠지면 숨은 위험이 남는다.
첫째는 명령 화이트리스트와 공정 제약 엔진이다. Agent의 출력은 자유 텍스트가 아니라 미리 정의된 명령 집합에 매핑되어야 하고, 각 명령에는 파라미터 상한과 하한이 있어야 한다. 업계의 흔한 실천은 리플로우 온도 프로파일의 승온 속도 한계 같은 공정 규격을 규칙 계층에 인코딩해 Agent 결정이 실행 전에 규칙 계층을 통과하게 하는 것이다.
둘째는 전 과정 추적성이다. 모든 인지 입력, 추론 근거, 출력 행동, 실행 결과가 기록되어야 하고, 로그는 타임스탬프, 설비 번호, 작업 지시 번호에 매핑되어야 한다. 문제가 생긴 특정 초를 재현할 수 있는 것이 윤리적 책임의 전제다.
셋째는 인간-기계 확인 메커니즘이다. 고위험 행동은 Agent 제안, 사람 확인, 시스템 실행의 흐름을 따라야 한다. 저위험 행동은 자동 실행할 수 있지만 사후 표본 검토가 필요하다. 이런 등급 구분은 행동의 가역성에 기반하는 것이 좋으며, 가역 행동은 완화하고 비가역 행동은 강화한다.
넷째는 기존 산업 프로토콜과 시스템에 통합되는 역량이다. Agent는 OPC-UA로 설비 데이터를 읽고 쓰고, MES 인터페이스로 작업 지시 컨텍스트를 얻고, SCADA로 실시간 상태를 획득해야 한다. 통합에는 표준 프로토콜이 바람직하고, 전용 인터페이스가 많을수록 감사가 어려워진다.
3. 이런 안전과 윤리 요구가 실제 라인에서 어떻게 나타나는가
전자 공장이 SMT 구역에 리플로우 프로파일 튜닝을 담당하는 Agent를 배포했다고 하자. 안전 측면에서 조정 범위는 공정 엔지니어가 정한 윈도 안에 고정되고, 모든 조정은 MES 변경 기록에 남으며, 연속 두 번의 조정 간격은 진동을 막기 위해 규정보다 짧을 수 없다. 윤리 측면에서 입고 배치 변경으로 큰 프로파일 변경이 필요하면 Agent가 스스로 결정하지 않고 공정 엔지니어가 확인할 권고를 생성한다. 이렇게 할 수 있는 일과 해야 하는 일을 분리해 다룬다.
자동차 부품사가 시각 품질 검사의 2차 판정에 Agent를 쓴다고 하자. 안전 측면에서 Agent는 신뢰도가 중간 대역에 있는 의심 불량만 2차 판정하고, 고신뢰 결과는 직접 통과시키거나 차단해 Agent가 전체 판단을 지지 않는다. 윤리 측면에서 브레이크 부품 같은 안전 관련 부품은 Agent가 양품으로 판정해도 수동 표본 검사 비율을 유지해야 하며, AI를 도입했다는 이유로 이 관문을 없앨 수 없다.
또 다른 시나리오는 예지 보전 Agent다. 그것이 권고하는 정지 윈도는 스케줄링 시스템과 연동되어야 하고, 정비 시기가 되었다는 이유로 일방적으로 라인 정지를 요구해서는 안 된다. 여기서 안전 측면은 Agent가 월권해 생산 사이클에 영향을 주지 않게 하는 것이고, 윤리 측면은 정비 권고가 설비 엔지니어에게 근거를 명확히 설명해야 한다는 것이다. 예를 들어 어떤 진동 스펙트럼 특징이 경보를 트리거했는지 밝혀야 하며 점수만 주어서는 안 된다.
4. 기업이 배포 과정에서 가장 자주 묻는 질문
첫 번째 질문: 모든 Agent 결정에 사람 확인이 필요한가. 전부 유지하는 것은 바람직하지 않다. 자동화의 의미가 사라진다. 대신 행동 위험으로 등급을 나누어 고위험은 확인하고 저위험은 자동화하되 표본 검토하며, 등급 기준을 운영 절차서에 작성해야 한다.
두 번째 질문: 구현에 얼마나 걸리는가. 통합할 시스템 수에 달려 있다. 단일 공정과 단일 설비의 Agent를 검증하는 것은 데이터 인터페이스 연결에서 규칙 계층 설정, 소량 시운전까지 보통 주 단위로 측정되고, MES, SCADA, PLC 통합을 아우르는 시나리오는 더 오래 걸린다. 단일 폐루프로 시작해 작동한 뒤 확장하는 것이 바람직하다.
세 번째 질문: 어떤 하드웨어가 필요한가. Agent의 연산 수요는 배포 방식에 달려 있다. 엣지 추론은 산업용 PC나 엣지 박스에 연산 요구를 부과하며 모델 추론과 프로토콜 변환을 모두 처리해야 한다. 클라우드 추론이면 현장에서는 네트워크 지연과 단선 저하 전략이 핵심이고, 네트워크가 끊길 때 Agent는 멈추지 말고 안전하게 물러나야 한다.
네 번째 질문: 흔한 오해는 무엇인가. 전형적 오해 하나는 안전 규칙을 Agent의 Prompt에 작성하면 된다고 믿는 것이다. 실제로 Prompt 제약은 쉽게 우회되며, 진짜 제약은 Agent 외부의 규칙 엔진과 실행 계층에 있어야 한다. 다른 하나는 Agent가 정확하게 판단하는지만 보고 판단할 수 없을 때 행동이 안전한지는 무시하는 것이다.
다섯 번째 질문: 비용 구조는 어떤가. 주로 세 부분이다. 시스템 통합의 개조 공수, 규칙 계층과 감사 로그의 개발과 설정, 시운전 기간의 인력 검토 공수. 모델 자체 비용은 큰 비중이 아닐 수 있고 통합과 검증이 대부분인 경우가 많다.
5. 어떤 시나리오가 적합하고 어떤 시나리오가 그렇지 않은가
적합한 시나리오: 파라미터 상한과 하한이 명확하고, 행동이 추적 가능하며, 단일 지점 폐루프를 쉽게 정의할 수 있는 공정. 리플로우 프로파일 튜닝, 사출 파라미터 미세 조정, 단일 기계 예지 보전, 시각 재검의 중간 대역 처리가 그 예이며, 이런 시나리오는 규칙이 분명해 Agent의 가치와 경계를 정의하기 쉽다.
신중히 평가할 시나리오: 반사가 강하거나 변형이 큰 부품의 시각 판단, 입고 일관성이 나쁜 공정, 여러 기계가 긴밀하게 결합된 연동 디버깅 구간. 이런 시나리오는 Agent의 판단 근거 자체가 불안정하고 안전 규칙을 코드로 고정하기 어려워, 우선은 자동 실행이 아니라 보조 권고로 두는 것이 바람직하다.
직접 자동 실행에 부적합한 시나리오: 인명 안전과 관련된 인터록 제어, 안전 부품 최종 검사의 출하 판정, 비가역 공정 변경. Agent는 이런 구간에서 보조 분석을 할 수 있지만 최종 행동은 사람의 몫이어야 한다.
제조 기업이 나아갈 때는 단일 공정, 가역 행동, 규칙이 명확한 지점에서 시작해 권한 경계와 로깅을 먼저 작동시키고 그 뒤 확장을 논의하는 것이 바람직하다. 안전과 윤리는 AI Agent의 브레이크가 아니라, 그것이 달릴 수 있고 사람이 신뢰하는 방식으로 달릴 수 있게 하는 장치다.