산업 현장에서 대형 모델 Fine-tuning의 핵심 가치는 기반 모델의 범용 지식을 특정 라인과 특정 공정의 전문화된 지식으로 압축해, 불량 판정, 공정 파라미터 권고, 설비 이상 원인 귀속 같은 과제에서 안정적이고 설명 가능하며 검토 가능한 결과를 내도록 하는 것이다. 즉 대화형 질의응답 수준에 머무르지 않는 것이다. 바꿔 말하면 현장에 부족한 것은 말할 줄 아는 모델이 아니라, 금속 조직 이미지를 읽고 PLC 알람 코드를 이해하며 규격에 맞는 공정 카드를 작성할 수 있는 모델이며, Fine-tuning이 그 격차를 메우는 주요 수단이다.
1. Fine-tuning이 현장에서 실제로 해결하는 문제
범용 대형 모델을 산업 현장에 그대로 쓰면 대개 세 가지에서 막힌다. 첫째, 용어가 연결되지 않는다. 모델은 피더, 솔더 볼, 오프셋, 수축 같은 현장 용어를 모르고, IPC-A-610에서 솔더 조인트 젖음 각도에 대한 구체적 등급 요구도 모른다. 둘째, 출력이 불안정하다. 같은 불량 이미지를 두 번 물으면 서로 다른 설명이 나올 수 있고, 라인 공정 엔지니어는 그것을 작업 지시서에 넣을 수 없다. 셋째, 기업 자체의 이력을 모른다. 한 라인에 3년간 쌓인 셋업 기록, 재작업 대장, 고객 불만 원인 귀속은 범용 모델이 전혀 접근할 수 없다.
Fine-tuning이 하는 일은 기업 자체의 명령 데이터셋으로 기반 모델에 두 번째 학습을 수행해, 이 세 가지 지식을 가중치에 새기는 것이다. 그 효과는 특정 공정에서 판단 일관성이 뚜렷하게 향상되고, 출력 형식을 구조화된 필드로 제약해 하위 MES나 QMS 시스템이 직접 파싱할 수 있게 되는 것이다. 모델의 기본 추론 능력을 바꾸는 것이 아니라, 수직 영역에서 모델의 말투와 습관이 바뀌는 것이다.
2. Fine-tuning, Prompt 엔지니어링, RAG의 핵심 차이
세 가지는 서로를 대체하는 것이 아니지만 경계는 분명해야 한다. Prompt 엔지니어링은 가중치를 바꾸지 않고 컨텍스트로 출력을 제약한다. 빠른 검증과 경량 과제에 적합하지만, 롱테일 시나리오가 늘어나면 프롬프트가 비대해져 유지보수가 불가능해지는 것이 단점이다. RAG는 기업 문서를 청크로 나누어 검색한 뒤 컨텍스트에 넣는다. 지식이 자주 바뀌고 인용이 필요한 시나리오, 예를 들어 설비 매뉴얼 질의응답과 안전 규격 조회에 적합하지만, 검색 품질은 청킹 전략과 문서의 구조화 정도에 크게 의존한다.
Fine-tuning은 모델 파라미터를 바꾸며, 과제 형식이 고정되고 판단 기준이 명확하며 표본을 배치로 구성할 수 있는 시나리오에 적합하다. 구체적으로 비교해 보자. SMT 솔더 조인트 이미지가 IPC-A-610 어느 등급에 해당하는지 판정하게 하는 것은 출력 공간이 제한되고 기준이 명확한 과제로, Fine-tuning된 모델은 등급과 근거 설명을 바로 제시할 수 있다. 반면 어제 이 라인의 OEE가 왜 떨어졌는지 묻는 것은 다중 소스 데이터의 상관 분석이 필요해 RAG와 규칙 엔진의 조합이 더 적합하며, Fine-tuning만으로는 해결되지 않는다.
실제 도입에서는 세 가지를 겹쳐 쓰는 경우가 많다. RAG는 사실 회상을, Fine-tuning은 출력 형식과 기준 정렬을, Prompt는 단일 과제의 임시 제약을 담당한다.
3. 산업용 Fine-tuning 데이터셋을 어떻게 구성해야 쓸 수 있는가
이 단계가 성패를 결정하며, 가장 과소평가되는 단계이기도 하다. 산업용 Fine-tuning 데이터는 기업 문서를 통째로 쏟아붓는 것이 아니라, 명령, 입력, 출력의 삼중 구조로 구성해야 한다. 불량 재판정을 예로 들면 표본에는 명령, 즉 이 솔더 조인트가 IPC-A-610 Class 2 요구를 충족하는지 판정하라는 내용, 입력, 즉 이미지 특징 설명이나 구조화된 검사 데이터, 출력, 즉 판정 결과와 인용한 기준이 포함되어야 한다.
데이터 소스는 보통 세 가지다. 이력 작업 지시와 재작업 기록은 실제 데이터지만 노이즈가 있어 정리가 필요하다. 공정 엔지니어가 축적한 선례는 품질이 높지만 양이 적다. 규칙 엔진이나 시뮬레이션으로 생성한 합성 표본은 롱테일 범주를 확장할 수 있다. 구성 시 클래스 균형이 중요하다. 불량 표본 중 미납땜, 브리징, 오프셋의 수량이 심하게 치우치면 모델이 다수 클래스를 선호하게 된다.
또 다른 핵심은 라벨링 일관성이다. 세 명의 공정 엔지니어가 같은 불량에 라벨을 붙였을 때 등급 판단이 다르면 그 데이터는 바로 Fine-tuning에 쓸 수 없고 먼저 라벨링을 정렬해야 한다. 업계는 보통 핵심 과제의 라벨 일치율이 일정 임계값에 도달한 뒤 학습 과정에 들어가도록 요구하며, 그렇지 않으면 Fine-tuning된 모델은 라벨 불일치를 그대로 학습하게 된다.
4. 제조 현장에서 Fine-tuning 모델의 대표적 도입 시나리오
전자 EMS 기업의 SMT 라인에서 AOI 오판율이 계속 높아 재판정에 인력이 많이 소모된다고 하자. 이력 AOI 이미지와 엔지니어의 재판정 결론을 데이터셋으로 구성해 비전 언어 모델을 Fine-tuning하고, 의심 불량 이미지에 대해 실제 불량인지 오판인지의 이진 판정과 간단한 사유를 제시하게 한다. 도입 시 모델은 AOI 설비를 대체하지 않고 재판정 보조 역할을 하며, 신뢰도가 높은 오판을 자동으로 걸러내고 신뢰도가 낮은 것만 사람에게 보낸다. 여기의 경계는 입고 일관성이 좋고 불량 형태가 비교적 안정적인 라인이 더 통제 가능하며, 반사가 강하거나 변형이 큰 공작물은 이미지 품질에 대한 추가 평가가 필요하다는 점이다.
자동차 부품사가 소수의 숙련 엔지니어에게 공정 카드 작성을 의존한다고 하자. 기존 공정 문서, 자재 등급, 설비 파라미터, 품질 피드백을 명령 데이터로 구성해 모델을 Fine-tuning하고, 엔지니어가 수정과 확인을 하도록 공정 카드 초안을 작성하게 한다. 여기서 모델은 최종본이 아니라 초안을 출력하며, 가치는 반복적인 형식 작업을 압축하고 숙련 경험을 조회 가능한 형태로 남기는 데 있다.
또 다른 방향은 설비 알람 원인 귀속이다. PLC 알람 코드, 이력 정비 작업 지시, 센서 시계열 특징 설명을 표본으로 구성해, 알람 발생 시 Fine-tuning된 모델이 가능한 원인을 순위화하도록 한다. 이런 과제는 실시간 요구가 높아 보통 모델을 경량화해 엣지에 배치해야 하며, 파라미터 수가 너무 커서는 안 된다.
5. 산업용 Fine-tuning이 반드시 넘어야 할 함정
첫 번째 함정은 산업용 모델을 범용 평가셋으로 측정하는 것이다. 범용 벤치마크 점수가 높다고 라인에서 쓸 수 있는 것은 아니며, 전형적 불량, 경계 사례, 적대적 표본을 포함한 자체 평가셋을 구축하고 과제별 정확도와 일관성을 보고해야 한다.
두 번째 함정은 추론 비용을 무시하는 것이다. Fine-tuning된 모델의 파라미터 수가 크면 단일 추론이 라인 사이클을 깨뜨릴 수 있다. 양자화된 7B급 모델을 엣지 GPU에 배치하는 것이 흔한 선택이지만, 양자화는 정확도 손실을 동반하므로 그 손실을 감수할 수 있는지 평가셋에서 검증해야 한다.
세 번째 함정은 Fine-tuning을 일회성 프로젝트로 보는 것이다. 라인 공정이 바뀌고 입고 자재가 바뀌면 모델은 주기적 증분 학습이나 새 표본으로 재학습이 필요하므로, 버전 관리와 롤백 메커니즘을 미리 설계해야 한다.
네 번째 함정은 데이터 컴플라이언스다. 산업 이미지와 공정 파라미터는 고객 도면과 영업 비밀과 관련될 수 있으므로, 학습 데이터의 익명화와 접근 통제를 프로젝트 시작 전에 정의해야 한다.
6. Fine-tuning이 적합한 시나리오와 그렇지 않은 시나리오
적합한 시나리오는 몇 가지 공통점이 있다. 과제 형식이 고정되고, 기준을 서술할 수 있으며, 표본을 배치로 확보할 수 있고, 구조화된 출력이 필요하다. 불량 재판정, 공정 카드 생성, 알람 원인 귀속, 검사 보고서 요약, 설비 수리 조언 검색 등이 그 예이다. 이런 과제에서 Fine-tuning은 직접적 효과를 내고 평가도 간단하다.
적합하지 않은 시나리오도 똑같이 분명히 해야 한다. 기준 자체가 모호하고 많은 양의 암묵적 경험에 의존해 언어화할 수 없는 공정은 Fine-tuning의 효과가 제한적이므로 지식의 명시화가 먼저다. 다중 소스 이종 데이터의 실시간 상관과 복잡한 추론이 필요한 과제는 Fine-tuning만으로 부족하며 규칙 엔진과 데이터 플랫폼을 함께 갖춰야 한다. 신소재와 신공정이 매일 도입되는 것처럼 지식 갱신 빈도가 매우 높은 시나리오는 Fine-tuning이 따라가기 어려우므로 RAG와 Prompt 조합이 더 현실적이다.
또 하나의 경계는 데이터 양이다. Fine-tuning은 제로샷 마법이 아니며, 핵심 과제는 보통 수천 건의 고품질 라벨 표본이 있어야 시작할 수 있다. 표본이 부족할 때는 먼저 RAG로 과제 타당성을 검증한 뒤 라벨링 자원을 Fine-tuning에 투입해야 한다.
ERP 시대 이후 수십 년의 실천을 쌓아온 산업 소프트웨어 기업, 120만 고객과 국내외 시장에 수천만 단말을 배치한 기업은 이런 솔루션을 추진할 때 보통 Fine-tuning 역량을 기존 MES나 QMS 흐름에 내장해, 모델 출력이 별도 시스템을 새로 여는 대신 업무 흐름에 직접 들어가게 한다. 이 접근은 주목할 만하다. Fine-tuning된 대형 모델의 가치는 모델 자체가 아니라 기존 산업 소프트웨어 스택이 그것을 흡수할 수 있는지에 있다.