AI 에이전트 도입, 권한 설계가 먼저입니다
에이전트가 "할 수 있는 일"과 "맡겨도 되는 일"은 다릅니다
제조 현장에서 AI 에이전트라는 말이 빠르게 퍼지고 있습니다. 설비 매뉴얼을 찾아 답하고, 정비 이력을 요약하고, 작업지시서 초안까지 써 주는 시연은 분명 인상적입니다.
하지만 시연 화면과 생산 라인 사이에는 간극이 있습니다. 대화창에서 그럴듯한 답을 내는 능력과, 라인이 멈춘 상황에서 책임 있게 판단하는 능력은 요구 수준이 전혀 다르기 때문입니다.
이 글은 에이전트를 "얼마나 똑똑한가"보다 "어디까지 권한을 줄 것인가"의 관점에서 살펴봅니다. 기존 자동화·예측 모델과의 역할 구분부터 비용 구조, 안전 원칙, 실패 패턴, 단계별 운영 방식까지 차례로 다룹니다.
규칙 기반 자동화, 예측 모델, 에이전트는 무엇이 다른가
세 기술은 서로를 대체하는 관계가 아니라 맡는 층위가 다릅니다. 규칙 기반 자동화는 PLC 로직이나 인터록처럼 정해진 조건에 정해진 동작을 수행하고, 예측 모델은 진동·온도·전류 같은 센서 데이터에서 고장 징후나 품질 이상을 수치로 추정합니다.
LLM 기반 에이전트는 언어 모델을 판단의 중심에 두고, 데이터베이스·업무 시스템·문서 같은 외부 "도구"를 호출해 여러 단계의 업무를 계획하고 수행합니다. 질문에 답만 하는 챗봇과 달리, 다음에 할 일을 스스로 정하고 필요한 도구를 고른다는 점이 핵심 차이입니다.
흔히 예지보전 성과를 에이전트의 성과처럼 소개하지만 실제 구조는 다릅니다. 2025년 발표된 예지보전 분야 리뷰 논문은 고장 진단과 잔여 수명 예측 관련 연구의 주류가 여전히 합성곱 신경망(CNN)·순환 신경망 같은 데이터 기반 판별 모델이라고 정리합니다. 에이전트는 판별 모델을 대체하기보다, 그 결과를 매뉴얼·정비 이력과 연결해 사람의 판단을 돕는 상위 층에 가깝습니다.
| 구분 | 규칙 기반 자동화 | 예측 모델(머신러닝) | LLM 기반 에이전트 |
|---|---|---|---|
| 작동 방식 | 사전에 정의한 조건과 동작 | 과거 데이터에서 패턴 학습 | 언어 이해와 도구 호출로 다단계 수행 |
| 강점 | 동작 예측 가능, 검증 용이 | 수치 기반 이상 감지·예측 | 비정형 문서·이력 연결, 자연어 소통 |
| 한계 | 정의하지 않은 예외에 취약 | 운전 조건이 바뀌면 성능 저하 | 환각, 판단 근거 추적의 어려움 |
| 적합한 업무 | 설비 제어, 안전 인터록 | 고장 징후 감지, 품질 예측 | 원인 분석 보조, 보고서·작업지시 초안 |
에이전트를 이루는 구성 요소
에이전트의 행동 범위는 모델 성능보다 "무엇에 연결되고 어떤 규칙을 따르는가"로 정해집니다. 앞서 언급한 리뷰 논문은 모델·도구·지시·메모리·추론·가드레일을 기본 구성으로 제시하는데, 현장에서 특히 따져야 할 요소는 다음과 같습니다.
- 도구: MES, 설비보전관리시스템(CMMS), SCADA 같은 연결 대상입니다. 연결된 도구의 범위가 곧 에이전트가 손댈 수 있는 범위입니다.
- 지시와 가드레일: 사용할 수 있는 도구, 작업을 멈추고 사람에게 넘길 조건, 금지 행동을 정의합니다.
- 메모리: 이전 작업의 맥락을 유지해 같은 설비의 반복 문제를 이어서 추적하게 합니다.
정보 영역과 물리 영역, 위험의 크기가 다릅니다
같은 리뷰 논문은 에이전트를 두 유형으로 구분합니다. 데이터를 읽고 진단·보고서·작업지시 초안을 만들어 승인을 요청하는 "정보 영역" 에이전트와, 설비에 직접 작용하는 "물리 영역" 에이전트입니다.
정보 영역 에이전트의 위험은 잘못된 판단이나 우선순위 왜곡 같은 정보적 성격이어서, 권한 한도와 사람 승인 절차로 관리할 수 있습니다. 반면 물리 영역 에이전트는 운영 안전과 규정 준수 위험이 더해져 훨씬 엄격한 제약이 필요합니다. 논문은 단기적인 가치는 정보·의사결정 지원형에 있고, 높은 자율성에는 더 강한 관리 체계와 성능 기준, 안전 근거가 먼저 갖춰져야 한다고 결론짓습니다.
업종별로 보면 출발점이 더 분명해집니다.
- 조립·가공 라인: 정비 매뉴얼·이력 검색, 반복 고장 요약, 작업지시서 초안 작성처럼 결과를 사람이 확인하는 업무가 적합합니다.
- 화학 공정: 운전 일지와 이상 이력을 정리해 원인 후보를 제시하는 데까지 맡기고, 온도·압력 같은 운전 변수 변경은 운전원 판단으로 남깁니다.
- 에너지 설비: 수요·발전 예측 결과를 해석해 운영 담당자에게 보고하는 역할이 현실적인 첫 단계입니다.
견적서에 잘 드러나지 않는 비용
에이전트 도입 비용을 라이선스나 API 사용료로만 계산하면 예산이 금방 어긋납니다. 예지보전 리뷰 논문이 정리한 도입 장벽은 모델 자체보다 데이터 정비, 기존 시스템 연동, 운영 체계 쪽에 몰려 있습니다.
| 비용 항목 | 주요 내용 | 놓치기 쉬운 이유 |
|---|---|---|
| 데이터 정비 | 정비 일지·작업 기록 형식 통일, 고장 사례 라벨링 | 고장 사례가 드물고 라벨링 작업량이 커 초기 견적에서 빠지기 쉬움 |
| 시스템 연동 | MES·CMMS·SCADA 연결, 접근 권한 설계 | 노후 설비와 공급사별 인터페이스 차이로 추가 개발 발생 |
| 검증·운영 인력 | 에이전트 제안 검토, 성능 모니터링, 모델 갱신 | 도입 후에도 계속 발생하는 고정비 |
| 교육·조직 | 현장 사용 교육, 역할 재정의 | 중소기업은 데이터 분석 인력 부족이 별도 장벽 |
기대 효과도 냉정하게 잡을 필요가 있습니다. 예지보전 리뷰 논문이 인용한 스탠퍼드대 AI 인덱스 2025 보고서에 따르면, AI를 활용하는 기업들의 비용 절감은 주로 서비스 운영과 공급망 분야에서 보고됐고 대체로 10% 미만이었으며, 매출 증가는 5% 미만이 가장 흔했습니다. 리뷰는 이를 다수 기업이 아직 가치를 확보하는 초기 단계에 있다는 신호로 해석합니다.
따라서 홍보 자료의 큰 절감 수치보다, 자사 KPI로 측정할 수 있는 범위에서 기대치를 정하는 편이 현실적입니다.
안전 계통과 에이전트는 분리합니다
비상정지, 안전 인터록, 안전 계장 기능은 기능안전 국제표준(IEC 61508, 공정산업의 IEC 61511) 체계에서 별도로 설계·검증되는 계통입니다. 이 체계는 목표로 하는 위험 감소 수준을 미리 정하고, 설계·검증·변경 관리를 정해진 절차에 따라 수행하도록 요구합니다.
안전 계통은 같은 조건에서 늘 같은 동작을 해야 하지만, LLM의 출력은 같은 요청에도 달라질 수 있고 판단 과정을 완전히 추적하기 어렵습니다. 그래서 에이전트는 안전 계통 바깥에서 데이터를 읽고 제안하는 역할에 두고, 안전 기능을 설정하거나 해제할 권한은 주지 않는 것이 원칙입니다.
조직 차원에서는 AI 경영시스템 국제표준(ISO/IEC 42001)처럼 AI 시스템의 위험 평가, 책임 배분, 운영 모니터링을 관리 체계 안에서 다루는 흐름도 자리 잡고 있습니다.
에이전트 운영에 필요한 통제 장치
예지보전 리뷰 논문은 에이전트 위험을 줄이는 방법으로 권한 한도, 사람 승인, 위임 규칙, 추적 기록을 제시합니다. 현장 언어로 옮기면 다음 세 가지입니다.
- 권한 한도: 에이전트가 단독으로 할 수 있는 일과 승인이 필요한 일을 문서로 정하고, 역할 기반 접근 제어로 시스템 권한도 그 범위에 맞춥니다.
- 승인 게이트와 기록: 영향이 큰 조치는 사람이 확인하기 전에 실행되지 않게 하고, 모든 제안과 실행에 근거와 로그를 남깁니다.
- 강등 장치: 불확실성이나 데이터 분포 변화가 기준을 넘으면 자동으로 "관찰 전용 모드"로 전환하고, 원격으로 즉시 멈출 수단을 둡니다.
문헌이 경고하는 실패 패턴과 점검 포인트
실패는 대개 기술 부족보다 기대와 운영 방식의 어긋남에서 시작됩니다. 문헌이 반복해서 지적하는 위험과 점검 포인트를 정리합니다.
첫째는 "환각을 드문 오류로 여기는 경우"입니다. 제조 분야 LLM 연구 53편을 분석한 2025년 체계적 문헌 리뷰는, 린(Lean) 생산 개선에 LLM을 활용한 연구에서도 환각 때문에 전문가의 검증이 필수였다고 정리합니다. 검토 없이 끝까지 자동으로 흘러가는 구조에서는 해석 오류를 잡아낼 지점 자체가 없다는 점도 함께 지적합니다. 점검 포인트는 에이전트의 모든 제안에 근거 문서와 데이터 출처가 표시되는지입니다.
둘째는 "실증(PoC) 단계에서 멈추는 경우"입니다. 같은 리뷰는 상당수 연구가 사례 연구나 시뮬레이션 환경에 머물러 있고, 일부 결론은 재현되지 않았다고 짚습니다. 시연 환경의 성능을 현장 성능으로 착각하기 쉬운 이유입니다. 첫 단계부터 성과 지표를 정하고 실제 라인 데이터로 평가하는지 확인해야 합니다.
셋째는 "요청 방식에 따라 결과가 흔들리는 경우"입니다. 리뷰는 LLM이 제시하는 생산 계획의 품질이 요청 문장에 크게 좌우되고, 요청이 모호할수록 품질이 떨어진다고 봅니다. 반복 업무는 요청 양식을 표준화해 두는 편이 안전합니다.
넷째는 "권한이 슬그머니 넓어지는 경우"입니다. 예지보전 리뷰는 작업지시 자동 생성 과정에서 불필요하거나 중복된 작업지시가 쌓이고, 정해진 절차와 역할이 우회되는 위험을 지적합니다. 분기마다 에이전트의 실제 행동 범위를 로그로 확인하고 권한을 재검토하는 절차가 필요합니다.
권한을 단계적으로 넓히는 혼합 운영
처음부터 자율 에이전트를 목표로 하기보다, 업무별로 사람과 에이전트의 역할을 나누고 근거가 쌓이는 만큼 권한을 넓히는 방식이 현실적입니다. 같은 공장 안에서도 문서 검색은 에이전트에 맡기고 작업지시 등록은 승인을 거치는 식으로, 업무마다 단계가 다를 수 있습니다.
운영 방식은 "결과가 정보로 끝나는가, 시스템에 반영되는가"와 "실행 결정을 사람이 하는가, 에이전트가 하는가"라는 두 기준으로 나눌 수 있습니다. 결과가 정보로 끝나는 영역에는 두 가지 방식이 있습니다.
- 정보 조회형: 매뉴얼·정비 이력 검색과 요약을 에이전트가 끝까지 수행하고, 결과의 활용은 사람이 판단합니다.
- 추천형: 원인 후보나 작업지시 초안을 제시하고, 사람이 채택한 것만 반영합니다. 가장 무난한 "권장 출발점"입니다.
시스템에 결과를 반영하는 영역은 더 신중하게 넓힙니다.
- 승인 후 실행형: CMMS 작업지시 등록이나 정비 일정 변경을 사람이 승인한 뒤에만 실행합니다.
- 제한적 자율형: 사전에 정한 범위와 한도 안에서만 자율 실행하고 사후에 검토하는 방식으로, "근거 축적 후 검토"할 단계입니다.
안전 기능과 운전 변수 변경은 어떤 방식에서도 에이전트 권한에서 제외합니다.
다음 단계로 넘어가는 기준은 기간이 아니라 근거입니다. 해당 업무의 제안 채택률과 오류 사례가 충분히 기록되고, 승인 담당자가 판단 근거를 바로 확인할 수 있을 때 다음 단계를 검토합니다. 성능이 떨어지면 이전 단계로 되돌릴 수 있어야 합니다.
솔루션 선택에도 같은 원칙이 적용됩니다. 에이전트 플랫폼은 외부 솔루션을 쓰더라도, 자사 데이터 연동과 권한 정책은 내부에서 직접 설계·관리하는 혼합 방식이 공급사 종속 위험을 줄이는 데 유리합니다.
성패를 가르는 것은 "에이전트의 지능"보다 "권한 설계"입니다
에이전트는 예측 모델과 업무 시스템 위에서 정보를 연결하는 층이며, 문헌이 단기적으로 가치가 크다고 보는 영역은 정보·의사결정 지원입니다. 예산에는 라이선스 외에 데이터 정비·시스템 연동·검증 인력 같은 숨은 비용을 함께 잡아야 하고, 안전 기능은 처음부터 에이전트 권한 밖에 두어야 합니다.
첫걸음으로는 현장 문의가 가장 많은 설비 하나를 골라, 매뉴얼과 정비 이력을 바탕으로 원인 후보를 제시하는 추천형 에이전트로 시작해 보시길 권합니다. 제안마다 근거 문서를 표시하게 하고 현장 담당자가 채택 여부와 오류를 기록하면, 그 기록이 다음 단계로 넘어갈지를 판단하는 근거가 됩니다.
참고문헌
- Ouerghemmi, C.; Ertz, M. "Integrating Large Language Models into Digital Manufacturing: A Systematic Review and Research Agenda." Computers (MDPI). 2025. 8. 7. https://www.mdpi.com/2073-431X/14/8/318 (CC BY 4.0)
- Di Maggio, L. G. "Toward Autonomous LLM-Based AI Agents for Predictive Maintenance: State of the Art, Challenges, and Future Perspectives." Applied Sciences (MDPI). 2025. 10. 28. https://www.mdpi.com/2076-3417/15/21/11515 (CC BY 4.0)
본 게시물은 AI 어시스턴트를 활용하여 초안을 작성하고 편집자의 검수를 거쳤습니다. 타 기업명 및 영업 기밀 보호를 위해 본문 중 일부 고유명사는 익명화(A/B) 처리되었습니다.