제조업 AI 에이전트 생산성 향상, 무엇을 어떻게 측정하나

제조업의 AI 에이전트 생산성 향상은 사이클타임·불량률·설비가동률·리드타임 네 지표로 나눠 재야 정확합니다. 각 지표에 도입 전 기준선을 세우고, 변화분에서 다른 요인을 걷어낸 AI 기여분만 성과로 잡습니다.

공장에 AI 에이전트를 붙인 지 서너 달이 지나면 대개 같은 질문을 받습니다. 경영진이 “그래서 생산성이 얼마나 올랐느냐”고 묻는데, 손에 쥔 답은 “현장 반응이 좋다”는 인상뿐일 때가 많죠.

문제는 ‘생산성 향상’이라는 말이 너무 넓다는 데 있습니다. 누구는 사람이 줄었는지를, 누구는 물량이 늘었는지를, 또 누구는 납기가 당겨졌는지를 떠올립니다. 같은 단어에 서로 다른 숫자를 기대하니 보고가 매번 어긋나죠.

그래서 측정의 출발점은 도구가 아니라 정의입니다. ‘생산성’을 현장에서 실제로 셀 수 있는 지표로 먼저 쪼개 두면, 도입 효과를 둘러싼 소모적인 말싸움이 숫자 검증으로 바뀝니다. 제조 현장을 함께 다니며 저희가 가장 먼저 맞추는 것도 이 정의입니다.

제조업에서 ‘생산성 향상’은 왜 그대로 측정할 수 없나요?

‘생산성 향상’은 지표가 아니라 목표입니다. 목표는 방향을 가리킬 뿐 크기를 재지 못하죠. 재려면 방향을 셀 수 있는 단위로 바꾸는 작업, 곧 조작화가 앞서야 합니다.

조작화란 추상적인 개념을 관측 가능한 숫자로 정의하는 일입니다. “빨라졌다”를 “개당 생산 시간 12분에서 9분”으로 바꾸는 순간, 비로소 검증과 비교의 문이 열리거든요.

제조 현장은 다행히 조작화가 쉬운 편입니다. 이미 생산관리시스템(MES)과 ERP가 시간·수량·품질을 기록하고 있어, 새 계측기를 달지 않아도 대부분의 지표를 기존 데이터에서 뽑아냅니다. AI가 건드린 공정일수록 이 로그가 더 촘촘하죠.

관건은 어떤 숫자를 생산성의 대표로 삼느냐입니다. 지표를 잘못 고르면 AI가 바꾼 부분이 측정 밖으로 새어 나가, 효과가 있어도 보고에는 잡히지 않아요. 그래서 지표 선택이 측정 설계의 절반을 차지합니다.

제조업 AI 생산성 측정, 어떤 네 지표로 나누나요?

제조업 AI 생산성 측정은 네 지표로 나누면 대체로 빠짐없이 잡힙니다. 속도를 보는 사이클타임, 품질을 보는 불량률, 설비 효율을 보는 설비가동률, 흐름을 보는 리드타임이죠. 네 축은 생산의 서로 다른 국면을 맡아 서로 겹치지 않습니다.

지표	무엇을 보나	대표 단위	주 데이터 출처
사이클타임	한 개를 만드는 속도	개당 분·초	MES 공정 타임스탬프
불량률	품질의 안정성	% (불량/총생산)	품질검사·MES
설비가동률(OEE)	설비의 종합 효율	% (가용성×성능×품질)	설비 로그·MES
리드타임	주문에서 출하까지 흐름	일·시간	ERP 수주·출하

네 지표를 한꺼번에 다 챙길 필요는 없습니다. AI 에이전트가 어느 공정을 건드렸는지에 따라 주력 지표가 갈리거든요. 스케줄링을 도왔다면 사이클타임과 리드타임이, 검사·예측을 도왔다면 불량률과 설비가동률이 먼저 움직입니다.

지표를 고를 때는 “AI가 바꾼 일이 이 숫자에 남는가”를 되물으면 됩니다. 남지 않는 지표를 골라 두면 성과가 통계에서 사라지죠. 도입한 기능과 측정 지표를 한 줄로 이어 두는 것이 첫 점검입니다.

지표마다 반복되는 측정의 세 축은 무엇인가요?

네 지표는 종류가 달라도 재는 절차는 같습니다. 측정 방법을 정하고, 도입 전 기준선을 세운 뒤, 변화분에서 AI 기여분을 분리하는 세 축이죠. 이 순서를 지표마다 똑같이 밟으면 결과를 나란히 견줄 수 있습니다.

측정 방법 — 무엇을, 어느 데이터에서, 어떤 주기로 뽑을지 한 문장으로 고정합니다.
기준선 — 도입 전 최소 3개월치 실적으로 ‘원래 수준’을 정합니다.
기여분 분리 — 관측된 변화에서 물량·계절·설비 교체 같은 다른 원인을 걷어냅니다.

세 축 중 가장 자주 빠지는 것이 세 번째입니다. 기준선 대비 좋아진 숫자를 통째로 AI 성과로 적으면, 마침 물량이 준 것이나 비수기 효과까지 AI 공으로 잡히거든요. 이 착시가 나중에 보고 신뢰를 무너뜨립니다.

아래에서는 네 지표를 하나씩 이 세 축에 얹어 봅니다. 지표별 세부는 달라도 뼈대는 이 셋에서 벗어나지 않아요.

기준선은 어떻게 설정하나요?

기준선은 ‘AI가 없던 시절의 정상 범위’입니다. 한 시점의 값이 아니라 도입 전 몇 달의 평균과 변동 폭으로 잡아야, 이후 변화가 진짜인지 원래 흔들림인지 가릴 수 있죠.

기간은 최소 3개월, 가능하면 계절 주기를 담는 6개월 이상을 권합니다. 제조는 성수기·비수기의 물량 차가 커서, 짧게 끊으면 계절 효과를 AI 효과로 착각하기 쉽거든요.

기간 — 도입 전 3~6개월, 대표성 있는 조업 구간으로.
조건 — 제품 믹스·교대 편성·설비 구성이 크게 바뀌지 않은 기간으로.
형태 — 단일 값이 아니라 평균과 상·하한(변동 폭)으로 기록.

기준선을 세울 때 이상치는 함부로 지우지 않는 편이 낫습니다. 대형 클레임이나 설비 사고가 있던 달을 빼 버리면 기준선이 실제보다 좋게 잡혀, 나중에 개선폭이 부풀죠. 다만 그 이상치가 왜 생겼는지는 한 줄 메모로 남겨 둡니다.

기준선 데이터는 사람이 손으로 집계하지 않는 것을 원칙으로 삼습니다. ERP·MES에서 같은 정의로 자동 추출해야, 도입 후 측정과 정의가 어긋나지 않거든요. 추출 쿼리를 기준선 단계에서 확정해 두면 이후엔 같은 쿼리를 재실행하면 그만입니다.

사이클타임은 어떻게 재고 AI 몫을 어떻게 가르나요?

사이클타임은 한 단위를 만드는 데 걸리는 실제 시간입니다. MES에 찍힌 공정 시작·종료 타임스탬프의 차이를 개수로 나눠 뽑죠. 대기·재작업 시간을 포함할지부터 정의에서 못 박아야 합니다.

AI 에이전트는 주로 대기와 재작업을 줄여 사이클타임을 당깁니다. 다음 작업 지시를 미리 배열하거나 이상 징후를 조기에 잡아, 멈춰 서는 시간을 없애는 방식이거든요. 그래서 순수 가공 시간보다 공정 사이 대기 구간에서 개선이 크게 납니다.

AI 몫을 가르는 방법은 변화를 구간별로 쪼개는 것입니다. 순수 가공·대기·재작업 세 구간의 시간을 따로 재면, AI가 손댄 대기·재작업 구간의 감소분만 떼어 볼 수 있죠. 가공 시간이 그대로인데 대기가 줄었다면, 그 감소는 설비가 아니라 스케줄링 개선일 공산이 큽니다.

물량 변화도 반드시 보정합니다. 사이클타임은 물량이 늘면 규모의 효과로 자연히 짧아지기도 해서, 도입 전후의 생산량을 맞춰 놓고 비교해야 AI 효과가 또렷해져요.

정의에서 자주 갈리는 대목이 미세 정지의 처리입니다. 짧은 순간 정지를 사이클에 넣느냐 빼느냐에 따라 같은 라인도 숫자가 달라지거든요. 도입 전후로 같은 정의만 유지하면 이 선택이 결과를 왜곡하지는 않습니다.

불량률에서 AI 효과를 어떻게 분리하나요?

불량률은 총생산 대비 불량 수의 비율입니다. 재작업 없이 한 번에 양품이 되는 몫까지 보려면 초·재검사 통과율(직행률, First Pass Yield)을 함께 봅니다. AI 검사·예측이 붙는 지점이 대개 이 직행률이거든요.

AI가 불량을 줄이는 경로는 두 갈래입니다. 하나는 비전 검사로 불량을 더 많이 걸러 내는 사후 탐지, 다른 하나는 공정 이상을 미리 감지해 불량 자체를 덜 만드는 예방이죠. 성과를 나눌 때 이 둘을 뭉뚱그리면 곤란합니다.

탐지와 예방을 가르는 기준은 불량이 ‘어디서’ 줄었는지입니다. 최종 검사에서 잡히는 불량이 늘고 출하 불량이 줄었다면 탐지 효과, 공정 중간의 불량 발생 자체가 줄었다면 예방 효과예요. 예방 쪽이 진짜 생산성 개선에 가깝습니다.

불량률 비교에는 제품 믹스 보정이 빠지면 안 됩니다. 어려운 제품 비중이 줄면 불량률은 저절로 내려가니, 같은 제품군끼리 견줘야 AI 기여가 왜곡되지 않죠. 믹스가 크게 바뀐 달은 아예 비교에서 빼는 편이 안전합니다.

불량을 셀 때 재작업으로 살린 물량과 폐기 물량을 갈라 두면 해석이 훨씬 선명해집니다. AI가 재작업률을 낮췄는지 폐기율을 낮췄는지에 따라 원가 효과가 크게 다르거든요. 두 숫자를 한 칸에 뭉치면 이 차이가 그대로 묻혀 버립니다.

설비가동률(OEE)은 무엇을 보나요?

설비가동률은 보통 OEE(설비종합효율)로 잡습니다. OEE는 가용성·성능·품질 세 요소의 곱으로 정의되죠. 세 값을 곱하는 구조라, 어느 하나만 떨어져도 종합 효율이 크게 내려가는 민감한 지표입니다.

구성 요소	재는 대상	AI가 개입하는 지점
가용성	계획 시간 대비 실제 가동 시간	고장 예지·정지 원인 조기 대응
성능	이상 속도 대비 실제 속도	미세 정지·속도 저하 감지
품질	총생산 대비 양품	공정 이상 예측으로 불량 예방

OEE로 AI 효과를 볼 때는 세 요소를 반드시 분해해서 봅니다. 종합 OEE만 보면 무엇이 좋아졌는지 알 수 없지만, 가용성이 올랐는지 성능이 올랐는지를 갈라 보면 AI가 실제로 손댄 손실이 드러나거든요.

세계 최고 수준의 OEE는 통상 85% 안팎으로 봅니다. 다만 이 절대값보다 값진 것은 도입 전후의 자기 비교예요. 업종·설비마다 상한이 달라, 남의 85%가 아니라 우리 기준선 대비 몇 %p 올랐는지가 성과의 척도가 됩니다.

OEE 개선을 AI 공으로 적기 전에 설비 교체·정비 주기를 확인합니다. 마침 노후 설비를 바꾼 시기와 겹치면 가용성 상승이 설비 덕인지 AI 덕인지 뒤섞이거든요. 설비 이력을 측정 기간과 나란히 놓고 보면 이 혼동을 걸러 낼 수 있죠.

리드타임 단축은 어디까지가 AI 기여인가요?

리드타임은 주문 접수부터 출하까지의 총 소요 시간입니다. 생산만이 아니라 대기·검사·이동·계획 수립까지 포함해, 공장 전체 흐름의 건강을 보여 주는 지표죠. ERP의 수주·출하 시각에서 바로 뽑힙니다.

AI 에이전트는 대개 생산 자체보다 계획과 조율에서 리드타임을 줄입니다. 생산계획 수립 시간을 단축하거나 병목을 조기에 찾아 라인 사이 대기를 없애는 식이거든요. 그래서 가공 시간은 그대로인데 전체 리드타임만 짧아지는 패턴이 자주 나와요.

AI 기여를 가르려면 리드타임을 구간으로 분해합니다. 계획 대기·생산·검사·출하 대기로 쪼개 어느 구간이 줄었는지 보면, AI가 손댄 계획·조율 구간의 단축분만 떼어 낼 수 있죠. 생산 구간이 그대로라면 그 개선은 설비가 아니라 흐름 관리의 몫입니다.

수주 물량과 제품 구성도 함께 봐야 합니다. 주문이 몰리면 리드타임은 늘고 한산하면 줄어드는 게 자연스러워서, 도입 전후의 수주 부하를 맞춰 비교해야 AI 효과가 물량 효과와 섞이지 않아요.

리드타임은 평균만큼 편차도 살펴야 합니다. 평균이 그대로여도 들쭉날쭉하던 납기가 고르게 모였다면, 그 자체로 예측성이 오른 개선이거든요. 평균과 최댓값, 표준편차를 함께 적어 두면 이런 변화까지 눈에 들어옵니다.

AI 기여분을 다른 요인과 어떻게 분리하나요?

측정에서 가장 까다로운 대목이 바로 이 분리입니다. 좋아진 숫자에는 AI 말고도 물량 변화, 계절, 설비 교체, 숙련도 상승이 함께 섞여 있거든요. 이걸 가르지 못하면 보고가 과장으로, 반대로는 저평가로 흐릅니다.

가장 깨끗한 방법은 대조군을 두는 것입니다. 비슷한 두 라인 중 한 곳만 AI를 적용하고 나머지는 그대로 둔 뒤, 같은 기간의 두 라인 차이를 보면 외부 요인이 대부분 상쇄되죠. 여건이 된다면 이 방식의 신뢰가 가장 높습니다.

대조군 비교 — 유사 라인 A(적용)와 B(미적용)를 같은 기간 나란히 측정.
단계적 롤아웃 — 라인·품목별로 시차를 두고 도입해 도입 전후를 비교.
외생 요인 보정 — 물량·제품 믹스·가동일수를 맞춰 놓고 전후를 견줌.

대조군을 두기 어려운 소규모 공장이라면 도입 전후 비교에 보정을 얹습니다. 물량·믹스·가동일수를 같은 수준으로 맞춘 구간끼리 견주고, 맞추기 어려운 요인은 표에 ‘보정 못 함’으로 솔직히 남기는 방식이죠. 한계를 적어 두면 오히려 신뢰가 붙습니다.

분리의 목표는 완벽한 인과 증명이 아니에요. 다른 설명을 하나씩 지워, AI가 남는 가장 그럴듯한 원인임을 보이는 것으로 족합니다. 경영 보고는 논문이 아니라 의사결정을 위한 근거라, 합리적 배제가 곧 설득력이 되죠.

분리가 어렵다고 아예 손을 놓는 것도 흔한 실수입니다. 정밀하지 않더라도 ‘보정 전 변화’와 ‘보정 후 추정 기여’를 나란히 적어 두면, 읽는 사람이 스스로 판단할 여지가 생기거든요. 숫자 하나를 못 박기보다 범위와 가정을 보여 주는 쪽이 오래 신뢰받습니다.

한 라인에 적용하면 측정은 어떻게 흘러가나요?

세 축을 실제 라인에 얹으면 흐름이 손에 잡힙니다. 아래는 계산 방식을 보여 주기 위한 가상 시나리오로, 실제 고객사 데이터가 아니라 산식의 자리만 채운 예시예요.

한 조립 라인이 개당 10분에 만들고 불량률 3%, OEE 70%, 리드타임 5일이었다고 해 봅니다. 여기에 스케줄링·이상 감지 에이전트를 붙인 뒤 석 달을 재니 개당 8.5분, 불량률 2.4%, OEE 76%, 리드타임 4일로 바뀌었다고 가정하죠.

지표(가상 예시)	기준선	도입 후	관측 변화	물량 보정 후 AI 기여
사이클타임	10분	8.5분	−1.5분	−1.1분
불량률	3%	2.4%	−0.6%p	−0.4%p
OEE	70%	76%	+6%p	+4%p
리드타임	5일	4일	−1일	−0.7일

오른쪽 두 칸의 차이가 이 표의 핵심입니다. 관측된 변화(−1.5분)를 그대로 성과로 적지 않고, 같은 기간 물량이 늘어 규모 효과로 짧아진 몫을 덜어 낸 뒤 남는 값(−1.1분)만 AI 기여로 잡거든요. 이 한 칸을 더 계산하는 습관이 보고의 정직성을 가릅니다.

각 칸의 보정 폭은 대조군이나 과거 추세에서 끌어옵니다. 물량이 비슷했던 달의 사이클타임 변동을 참고해 규모 효과분을 추정하고, 그만큼을 관측 변화에서 빼는 식이죠. 추정이 들어간 칸에 ‘추정 보정’이라고 표시해 두면 나중에 검산이 한결 쉬워집니다.

ERP 데이터를 측정에 어떻게 연결하나요?

네 지표의 원천 데이터는 대부분 이미 ERP와 MES 안에 있습니다. 사이클타임과 OEE는 MES의 설비·공정 로그에, 리드타임은 ERP의 수주·출하 기록에, 불량률은 품질검사 데이터에 남아 있죠. 새로 만들 것은 계측기가 아니라 추출 경로예요.

문제는 이 데이터가 시스템마다 흩어져 정의가 제각각이라는 점입니다. 같은 ‘리드타임’도 화면마다 시작점이 달라, 사람이 엑셀로 옮기는 순간 정의가 흔들리거든요. 측정을 자동화하려면 원천에서 같은 정의로 바로 뽑아야 합니다.

AI 에이전트를 ERP 위에 연동해 두면 측정도 함께 자동화됩니다. 기존 시스템을 교체하지 않고 그 위에서 트랜잭션을 읽어 지표를 계산하는 구조라면, 성과 측정이 별도 작업이 아니라 운영의 일부가 되죠. 하마다랩스가 500개 이상 외부 시스템 연동과 온프레미스 배포를 다루는 것도 이 지점을 겨냥합니다.

추출 자동화 — 지표 정의를 쿼리로 고정해 사람 집계를 걷어냅니다.
정의 통일 — ERP·MES의 필드 정의를 측정 시작 전에 한 번 맞춥니다.
보안 유지 — 생산 데이터가 외부로 나가지 않게 온프레미스로 처리합니다.

측정 데이터가 사내에 머물러야 하는 이유는 분명합니다. 생산량·불량·설비 가동은 원가와 직결된 민감 정보라, 외부 유출 없이 다루는 구조가 측정의 전제가 되거든요. 절감액을 함께 산정하려면 ERP 연동 인건비 절감 모델을 참고하시면 됩니다.

지표별 측정 주기와 데이터 품질은 어떻게 관리하나요?

지표마다 알맞은 측정 주기가 다릅니다. 사이클타임과 OEE는 설비가 실시간으로 찍어 주니 분·시간 단위로 볼 수 있고, 불량률과 리드타임은 하루나 주 단위로 모아야 표본이 안정되죠. 주기를 잘못 잡으면 우연한 노이즈를 추세로 오해하게 됩니다.

실시간·시간 — 사이클타임, OEE(설비 로그가 자동 기록).
일·주 — 불량률, 직행률(표본이 쌓여야 안정).
주·월 — 리드타임(주문 건별 편차가 커 모아서 봄).

측정의 질은 결국 데이터의 질에서 판가름 납니다. 설비 로그에 결측이 많거나 품질 판정 기준이 라인마다 다르면, 아무리 정교한 산식도 흔들린 입력 위에서 함께 흔들리거든요. 그래서 측정을 붙이기 전에 데이터 정합부터 한 번 훑어보는 편이 낫습니다.

데이터 점검은 세 가지만 봐도 대부분 걸러집니다. 같은 사건이 두 시스템에 다르게 찍히지 않는지, 결측 구간이 특정 교대·설비에 몰려 있지 않은지, 정의가 기간 중간에 슬그머니 바뀌지 않았는지죠. 이 셋이 깨끗하면 지표는 대체로 믿어도 좋습니다.

네 지표를 하나로 어떻게 묶어 보나요?

네 지표는 하나의 종합 점수로 뭉치기보다 나란히 두고 보는 편이 낫습니다. 억지로 가중 평균을 내면 어느 지표가 움직였는지가 가려져, 개선의 원인을 놓치거든요. 대시보드는 합산이 아니라 병렬이 기본이에요.

보는 층위	담는 지표	보는 사람
현장 운영	사이클타임·OEE(실시간)	생산·설비 담당
관리	불량률·리드타임(일·주 단위)	공장장·팀장
경영	네 지표 요약·기준선 대비 %p	임원

층위를 나누는 까닭은 보는 사람마다 필요한 해상도가 다르기 때문입니다. 현장은 실시간 이상을 봐야 하고 경영진은 추세만 보면 되죠. 같은 데이터를 층위별로 요약 강도만 달리해 보여 주면 충분합니다.

지표 사이의 상충도 함께 봐야 합니다. 사이클타임을 무리하게 당기면 불량률이 오르는 식으로 지표가 서로 밀고 당기거든요. 네 지표를 같은 화면에 두는 진짜 이유는, 한 지표의 개선이 다른 지표를 갉아먹지 않는지 확인하려는 데 있어요.

대시보드를 처음부터 화려하게 꾸밀 까닭은 없습니다. 네 지표와 기준선 선 하나만 있어도 판단은 서고, 시각화는 측정이 자리 잡은 뒤에 붙여도 늦지 않거든요. 도구보다 정의와 추출을 먼저 다듬는 순서가 헛발질을 줄여 줍니다.

측정 결과를 경영진에게 어떻게 보고하나요?

경영 보고는 지표 나열이 아니라 세 문장으로 압축합니다. 기준선 대비 얼마가 바뀌었는지, 그중 AI 기여로 볼 수 있는 몫이 얼마인지, 그리고 그 판단의 한계가 무엇인지죠. 마지막 한계를 빼면 신뢰가 깎입니다.

변화폭 — 지표별 기준선 대비 개선치(%p 또는 시간·%).
AI 기여분 — 다른 요인을 걷어낸 뒤 남는 몫과 그 산정 방식.
한계 — 대조군 부재 등 보정하지 못한 요인의 솔직한 명시.

성과는 단정하지 않고 조건부로 적는 편이 오히려 강합니다. “얼마를 확실히 줄였다”가 아니라 “이 보정 기준에서 이만큼으로 관측된다”로 쓰면, 나중에 수치가 흔들려도 보고가 무너지지 않죠. 조건을 밝힌 숫자가 승인 자리에서 더 오래 버팁니다.

측정 결과는 다음 투자 판단의 재료이기도 합니다. 어느 공정에서 기여분이 컸는지 보이면, 다음 도입을 어디에 걸지가 데이터로 정해지죠. 업종·라인에 맞는 측정 설계부터 함께 잡고 싶으시면 업종별 도입·측정 상담으로 현재 공정과 목표를 보내 주세요.

측정 지표를 개선 목표(KPI)로 어떻게 바꾸나요?

측정이 자리 잡으면 그다음은 목표 설정입니다. 도입 후 성과를 KPI로 관리하려면 ‘재는 지표’를 ‘겨누는 목표’로 바꿔야 하거든요. 이때 목표치는 남의 벤치마크가 아니라 우리 기준선에서 출발하는 게 원칙이에요.

KPI 목표는 세 조건을 갖추면 좀처럼 흔들리지 않습니다. 기준선 대비 상대값으로 잡을 것, 달성 기한을 붙일 것, 그리고 상충 지표의 하한을 함께 걸 것이죠. 예컨대 “6개월 안에 사이클타임 10% 단축, 단 불량률은 기준선 이내 유지”처럼 씁니다.

상대 목표 — ‘8분’이 아니라 ‘기준선 대비 12% 단축’으로.
기한 — 정착기를 지난 시점부터 달성 기한을 명시.
상충 하한 — 속도 목표에 품질 하한을 짝지어 부작용을 차단.

목표를 한 지표에만 걸면 풍선 효과가 납니다. 사이클타임만 몰아붙이면 불량이 늘고, 불량률만 조이면 속도가 죽는 식이죠. 그래서 KPI는 늘 개선 지표와 방어 지표를 한 쌍으로 묶어 두는 편이 안전합니다.

제조 현장 측정에서 흔한 실수는 무엇인가요?

측정을 망치는 실수는 대체로 다섯 가지로 좁혀집니다. 점검 목록으로 두고 하나씩 지워 나가면 대부분 걸러져요.

기준선 없이 도입 후 숫자만 보기 — 좋아졌는지 나빠졌는지 견줄 대상이 없습니다.
물량·계절 보정 생략 — 물량이 준 것을 AI 효과로 착각합니다.
종합 지표만 보기 — OEE 총점만 보면 무엇이 개선됐는지 못 읽습니다.
사람 손 집계 — 정의가 흔들리고 재현이 안 됩니다.
지표 간 상충 무시 — 한 지표를 올리려다 다른 지표를 깎습니다.

다섯 중 파급이 가장 큰 것이 첫째와 둘째입니다. 기준선을 안 세우면 비교 자체가 성립하지 않고, 보정을 빼면 좋아진 숫자가 전부 AI 공으로 잡혀 부풀거든요. 이 둘만 막아도 측정의 신뢰가 크게 오릅니다.

실수를 줄이는 가장 확실한 장치는 측정 설계를 도입 전에 못 박는 것입니다. 어떤 지표를, 어느 데이터에서, 어떻게 보정해 볼지 도입 첫날 정해 두면, 나중에 유리한 해석을 고르는 편향이 끼어들 틈이 없죠. 설계는 결과가 나오기 전에 끝내 두어야 합니다.

언제부터 재고 얼마나 자주 갱신하나요?

측정은 도입 전부터 시작합니다. 기준선을 도입 이후에 잡으려 하면 ‘AI 없던 상태’가 이미 사라져 비교가 불가능해지거든요. 도입을 결정한 순간이 기준선 데이터를 확보할 마지막 시점이에요.

도입 전 — 3~6개월 기준선 확정, 추출 쿼리 고정.
도입 0~30일 — 정착 구간, 일시적 생산성 저하는 정상으로 간주.
30~90일 — 안정화된 변화 측정, 첫 기여분 산정.
분기별 — 지표 갱신, 기준선 대비 추세 확인.

도입 직후 한 달은 숫자가 흔들리는 게 정상입니다. 사람이 새 방식을 익히는 구간이라 사이클타임이 잠깐 늘기도 하는데, 이 골을 실패로 오해하면 멀쩡한 도입을 접게 되죠. 첫 달은 정착기로 따로 표시해 둡니다.

측정 시점을 단계로 설계하는 자세한 방법은 도입 0·30·90일 KPI 설계에 정리해 두었습니다. 갱신을 분기 습관으로 만들면, 지난 예측이 얼마나 맞았는지가 쌓여 다음 투자 판단의 근거로 자랍니다.

자주 묻는 질문

측정 기준선을 못 잡고 이미 AI를 도입해 버렸다면 어떻게 하나요?

지난 실적 데이터로 소급 기준선을 세우는 길이 있습니다. ERP·MES에 도입 전 몇 달치 로그가 남아 있으니, 그 기간을 같은 정의로 추출하면 사후에도 기준선을 복원할 수 있죠. 다만 소급 데이터는 정의가 어긋나 있을 수 있어, 복원한 기준선에는 ‘소급 산정’이라는 꼬리표를 달아 두는 편이 안전합니다.

작은 공장이라 대조군을 둘 라인이 없습니다. 그래도 AI 기여분을 잴 수 있나요?

대조군 없이도 도입 전후 비교에 외생 요인 보정을 얹으면 됩니다. 물량·제품 믹스·가동일수를 맞춘 구간끼리 견주고, 맞추지 못한 요인은 한계로 명시하는 방식이죠. 완벽한 인과 증명 대신 다른 설명을 지워 나가는 접근이면 경영 판단에는 족합니다.

여러 지표가 서로 반대로 움직이면 성과가 있다고 봐야 하나요?

지표 간 상충은 오히려 정상 신호에 가깝습니다. 사이클타임을 당기면 불량률이 오르는 식의 긴장이 있어서, 한쪽만 좋아졌다면 다른 쪽을 함께 살펴야 하죠. 네 지표가 동시에 나빠지지 않으면서 목표 지표가 개선됐다면, 그 개선은 믿을 만합니다.

측정에 별도 솔루션을 또 사야 하나요?

대개는 이미 있는 ERP·MES 데이터로 충분합니다. 새 계측 장비보다 지표 정의와 추출 쿼리를 정리하는 일이 먼저라, 데이터가 시스템에 쌓이고 있다면 추가 구매 없이 시작하죠. 자동 추출을 붙일 때도 기존 연동 위에 얹는 방식이면 도입 부담이 작습니다.

OEE가 오르지 않는데 다른 지표는 좋아졌습니다. 실패인가요?

그렇지 않습니다. OEE는 설비 효율에 초점이 맞춰진 지표라, AI가 계획·품질 쪽을 개선했다면 리드타임이나 불량률에서 먼저 효과가 나타나거든요. AI가 손댄 공정과 지표가 맞물리는지부터 확인하고, 설비 자체를 건드리지 않았다면 OEE 정체는 자연스러운 결과로 읽으면 됩니다.

측정 결과가 기대만큼 안 나오면 도입을 접어야 하나요?

숫자만으로 접기 전에 측정 설계부터 되짚어 보시길 권합니다. 지표 선택이 AI가 바꾼 공정과 어긋났거나, 정착기를 성과 구간에 포함했거나, 물량 감소를 보정하지 않은 경우가 흔하거든요. 설계를 바로잡은 뒤에도 기여분이 미미하다면, 그때 대상 공정을 다시 고르는 편이 낫습니다.

참고 자료

설비종합효율(OEE) 표준 정의 — 가용성×성능×품질의 곱으로 계산하는 제조 설비 효율 지표로, 전사적 생산보전(TPM) 체계에서 정립된 개념. 통상 85% 안팎을 세계 최고 수준으로 본다(제조 운영관리 표준 개념, 2026-07-22 기준).
초·재검사 통과율(First Pass Yield, 직행률) — 재작업 없이 한 번에 양품이 되는 비율로 정의하는 제조 품질 표준 지표(품질관리 표준 개념).
하마다랩스 업종별 도입 관찰(2026년, 윈디플로 에반젤리스트 현장) — 제조·물류 라인에서 ‘생산성 향상’을 측정 지표로 먼저 정의하지 못해 성과 보고가 지연되는 반복 패턴. 익명 집계이며 특정 고객사 데이터 아님.
하마다랩스 플랫폼·회사 소개(500개 이상 외부 시스템 연동·ERP 연동·온프레미스 배포 지원): https://www.hamadalabs.com/platform · https://www.hamadalabs.com/about

작성자

유수호 — 한양대학교 ERICA 겸임교수이자 하마다랩스 윈디플로 에반젤리스트. 제조·물류·유통·서비스 등 업종별 AI 에이전트 자동화 사례와 성과를 현장 관점에서 전하며, AI 에이전트 개념 정립과 도입 성공·실패 패턴을 다룹니다. 회사 소개: https://www.hamadalabs.com/