파일럿이 끝났다, 본도입을 결정하는 기준은 무엇인가

AI 에이전트 파일럿 본도입은 잘됐다·안 됐다로 갈리지 않습니다. 파일럿이 남긴 기록에서 재현성과 운영 부담, 확장 단가 세 값을 뽑아 계속·중단·재설계 가운데 하나를 고르는 판정이죠.

4주짜리 파일럿이 끝나고 담당자가 종료 보고를 올립니다. 처리 건수는 목표를 넘겼고, 현업 반응도 나쁘지 않았습니다. 마지막 줄에는 이렇게 적혀 있습니다. 문제없이 잘 돌아갔습니다.

다음 주에 임원 보고가 잡혀 있고, 그 자리에서 나올 질문은 하나입니다. 그래서 전사로 갑니까.

이 질문에 종료 보고서로 답하려고 하면 대화가 인상 싸움이 됩니다. 잘 돌아갔다는 문장과 아직 이르다는 문장은 같은 자료를 놓고도 나란히 성립하거든요.

잘 돌아갔다는 보고로 왜 결정이 서지 않을까요?

파일럿의 성공은 조건이 딸린 문장이기 때문입니다. 그 담당자가, 그 4주 동안, 그 데이터로 돌렸을 때 됐다는 뜻이고, 본도입은 그 세 조건이 전부 바뀐 뒤의 이야기죠.

성공과 실패 둘로만 물으면 답이 한쪽으로 기웁니다. 넉 달을 들인 파일럿에 실패 도장을 찍고 싶은 담당자는 없고, 승인권자도 이미 승인한 예산의 결과를 실패로 되돌려 받고 싶지 않으니까요. 그래서 어느 쪽도 아닌 연장이 나옵니다.

외부 조사에서도 이 두 칸은 실물을 다 담지 못합니다. 인프라·운영을 맡은 리더 782명에게 2025년 11월과 12월에 걸쳐 묻고 2026년 4월에 공개한 가트너 조사를 보면, AI 활용 사례 가운데 기대한 ROI를 그대로 거둔 쪽이 28%, 완전한 실패로 분류된 쪽이 20%였습니다.

두 숫자를 더해도 절반이 되지 않습니다. 나머지는 성공이라 부르기도 실패라 부르기도 어려운 자리에 있었다는 뜻이고, 파일럿을 마친 회사가 실제로 서 있는 곳도 대개 거기죠.

그래서 판정 갈래를 셋으로 둡니다. 계속과 중단, 그리고 재설계죠. 앞의 둘만 두면 재설계로 갈 프로젝트가 계속 쪽으로 흘러 들어갑니다.

재현성에는 어떻게 값을 넣나요?

재현성이 검증 구간의 잣대라는 것은 파일럿에 들어가기 전에 정해 두는 일입니다. 파일럿이 끝난 지금 남은 일은 그 잣대에 값을 넣는 것이죠.

값을 만드는 방법은 조건을 하나씩 바꿔 보는 것입니다. 바꿀 수 있는 조건은 셋입니다.

손: 파일럿을 돌린 담당자 말고 다른 사람이 같은 절차로 돌린 적이 있는가
주차: 첫 주와 마지막 주의 성공률이 비슷한가, 아니면 뒤로 갈수록 좋아졌는가
입력: 파일럿용으로 고른 데이터 말고 손대지 않은 묶음을 넣어 본 적이 있는가

셋 중 몇 개를 바꿔도 결과가 유지됐는지가 재현성의 값입니다. 하나도 바꾸지 않았다면 값이 없는 것이고, 없는 값은 나쁜 값과 다르게 취급해야 합니다.

제가 파일럿 종료 회의에서 성공률 숫자보다 먼저 확인하는 것은 그 숫자가 몇 사람의 손에서 나왔는가입니다. 한 사람이 4주 내내 돌린 기록이면 성공률이 아무리 높아도 그 값은 사람과 붙어 있어서, 담당자가 휴가를 가는 주에 무슨 일이 생길지를 알려 주지 못하거든요.

뒤로 갈수록 좋아진 성적은 특히 조심스럽게 읽습니다. 에이전트가 나아진 것일 수도 있지만, 담당자가 어떤 입력에서 잘 되는지 알게 되어 그런 건만 넣기 시작한 것일 수도 있으니까요.

조건 하나만 유지되는 상태도 값으로 셉니다. 손을 바꿨더니 성공률이 절반으로 떨어졌다면 그것은 실패가 아니라 절차가 사람 머릿속에 있다는 결과이고, 입력 묶음을 바꿨을 때만 무너졌다면 데이터 쪽 문제라는 결과죠. 어느 조건에서 무너졌는지가 뒤에서 재설계할 자리를 그대로 가리킵니다.

AI 에이전트 파일럿 본도입 판정은 세 값 위에서 갈립니다

재현성 하나로는 부족합니다. 결과가 다시 나온다는 사실은 그 결과를 얻는 데 무엇이 드는지를 말해 주지 않고, 본도입은 물량이 몇 배로 늘어난 상태에서 그 값을 치르는 일이거든요.

값	파일럿 기록에서 뽑는 자리	값의 형태
재현성	실행 로그의 담당자 계정·주차별 성공률·투입한 데이터 묶음	손·주차·입력 셋 중 몇 개를 바꿔도 유지됐는가
운영 부담	담당자가 확인·수정·재실행에 쓴 시간과 그 기간의 처리 건수	건당 사람 시간, 그리고 주차별로 그 값이 움직인 방향
확장 단가	물량이 서로 달랐던 주의 비용과 건수	건수가 늘 때 건당 비용이 내려갔는가, 평평했는가, 올라갔는가

셋만 남긴 이유는 단순합니다. 파일럿이 끝난 뒤에도 남은 기록에서 되찾을 수 있느냐. 현업 만족도나 데모 인상처럼 다시 세어 볼 수 없는 것은 판정표에 올리지 않고 회의록에 남깁니다.

세 값이 서로 다른 것을 묻는다는 점도 짚어 둘 만합니다. 재현성은 결과가 다시 나오는지를, 운영 부담은 그 결과에 사람이 얼마나 붙어 있는지를, 확장 단가는 그 구조가 물량을 견디는지를 묻거든요.

사람이 붙어 있는 시간은 어떻게 세나요?

세 종류를 따로 셉니다. 자동화 뒤에 남은 사람 일은 성격이 갈리는데, 뭉쳐서 재면 어느 쪽을 손봐야 할지가 보이지 않습니다.

남은 일	실제 모습	이 값이 크면
사전 손질	양식이 제각각인 문서를 사람이 정리해서 넣는다	문제는 에이전트가 아니라 입력 쪽에 있다
결과 확인	나온 결과를 담당자가 하나씩 눈으로 훑는다	신뢰 구간이 아직 정해지지 않았다
실패 재처리	멈춘 건을 찾아 손으로 다시 돌린다	예외 규칙이 업무 실물을 덜 담았다

어디까지를 사람 시간에 넣을지는 미리 정해 둡니다. 담당자가 사용법을 익힌 시간과 규칙을 처음 짜 넣은 시간은 한 번만 드는 값이라 빼고, 매 건 반복되는 확인과 수정과 재실행만 셉니다. 주간 점검 회의처럼 파일럿이라서 잡힌 자리도 빼는 편이 맞습니다. 이 경계가 흔들리면 4주 뒤에 같은 방식으로 다시 셀 수 없어서 회차 간 비교가 끊깁니다.

세 값을 처리 건수로 나누면 건당 사람 시간이 나옵니다. 이 값 하나만으로는 판정이 서지 않고, 4주 동안 그 값이 어느 쪽으로 움직였는지를 함께 봐야 합니다.

내려가는 중이라면 학습 곡선을 타는 중이라고 읽습니다. 첫 주에 건당 6분이던 확인 시간이 마지막 주에 2분이 됐다면, 사람이 어느 건을 믿어도 되는지 배우는 중인 것이죠. 평평하다면 그 시간은 4주가 아니라 앞으로도 계속 드는 값입니다.

여기서 재현성과 운영 부담이 서로를 가립니다. 사람이 매 건을 확인하고 실패를 손으로 되돌리고 있으면 결과는 언제나 잘 나오거든요. 그 상태의 재현성 값은 에이전트의 성적이 아니라 담당자의 성적입니다.

그래서 두 값은 나눠 읽습니다. 재현성이 높은데 건당 사람 시간이 평평하다면, 유지되고 있는 것은 결과이지 자동화가 아닙니다.

성공률이 몇 퍼센트면 계속으로 가나요?

기준선을 숫자 하나로 드리기는 어렵습니다. 같은 92%가 어떤 업무에서는 충분하고 다른 업무에서는 쓸 수 없는 값이거든요.

가르는 것은 틀린 건 하나가 만드는 뒤처리입니다. 사내 회의록 요약이 틀리면 담당자가 다시 읽으면 그만이지만, 발주서의 수량이 틀리면 물건이 잘못 들어오고 반품과 재발주가 따라붙습니다. 앞의 업무에서 92%는 여유 있는 값이고, 뒤의 업무에서는 100건 중 8건마다 그 뒤처리가 돌아온다는 뜻이죠.

여기 든 숫자는 계산의 모양을 보이려고 세운 예시이고, 실제 기준선은 업무마다 다르게 잡힙니다.

그래서 성공률은 판정표에 직접 올리지 않고 운영 부담 쪽으로 넣습니다. 실패한 건이 몇 분의 사람 일을 만드는지 세어 건당 사람 시간에 반영하면, 업무마다 다른 무게가 저절로 계산에 들어옵니다.

되돌릴 수 없는 실수가 섞이는 업무라면 계산이 하나 더 붙습니다. 사람이 나가기 전에 한 번 걸러야 하는 구조라면 그 확인 시간은 물량과 함께 늘어나는 값이라, 성공률이 아무리 올라가도 사라지지 않습니다.

숫자로 기준선을 정하고 싶다면 방향은 하나입니다. 지금 사람이 그 일을 할 때의 오류율을 먼저 세어 보는 것이죠. 비교 대상이 100%가 아니라 현재 상태라는 점이 정해지면, 기준선 논쟁은 대개 그 자리에서 끝납니다.

건당 비용은 물량이 늘 때 어느 방향으로 움직이나요?

세 덩어리가 서로 다른 방향으로 움직입니다. 구축비와 라이선스 같은 고정 몫은 건수가 늘수록 건당으로는 내려가고, 모델 호출료 같은 변동 몫은 대체로 평평하며, 사람이 붙는 몫은 올라갈 수 있습니다.

마지막 것이 판정을 가릅니다. 예외로 빠지는 비율이 물량에 비례해서 늘면 그나마 계산이 되지만, 업무가 늘면 업무의 종류도 함께 늘어서 예외 비율 자체가 올라가는 경우가 있거든요.

부서 하나에서 열 부서로 갈 때 늘어나는 것은 건수만이 아닙니다. 결재선이 다르고, 쓰는 양식이 다르고, 예전 문서의 형식이 다릅니다. 파일럿에서 만든 규칙이 그 차이를 덮지 못하면 건당 사람 시간이 물량과 함께 올라갑니다.

물량이 늘어서 내려가는 값도 함께 봅니다. 같은 유형의 건이 반복되면 예외 규칙이 한 번 만들어질 때마다 뒤따르는 건들을 덮어 주고, 담당자의 확인 속도도 빨라지죠. 세 덩어리의 방향이 서로 반대라서 건당 비용의 최종 방향은 더해 봐야 나옵니다.

문제는 파일럿이 대개 한 가지 물량으로만 돌아간다는 데 있습니다. 4주 내내 하루 40건을 처리했다면 40건일 때의 값만 손에 있고, 400건일 때의 방향은 기록 어디에도 없죠.

방향을 모른다는 것은 나쁜 값이 아니라 빈칸입니다. 다만 빈칸인 채로 전사 확장을 결재하면, 예산은 40건 기준으로 짜이고 청구서는 400건 기준으로 오게 됩니다. 확장 국면의 비용을 예산 항목으로 옮기는 순서는 하반기 예산 편성 쪽에 적어 두었습니다.

공급사가 대신 돌려 준 파일럿은 값을 어떻게 읽나요?

세 값 가운데 두 개에 표시를 달아 둡니다. 파일럿을 우리 담당자가 아니라 공급사 엔지니어가 운전한 경우가 드물지 않은데, 이때 재현성의 손 조건은 아직 한 번도 바뀌지 않은 상태입니다.

성공률이 높게 나온 것도 자연스럽습니다. 자기 제품의 특성을 아는 사람이 입력을 다듬고 실패한 건을 즉시 손봤을 테니까요.

운영 부담 쪽은 사정이 더 미묘합니다. 그 사람이 쓴 시간은 우리 담당자의 근무 기록에 남지 않아 건당 사람 시간이 실제보다 작게 잡히고, 본도입 뒤에 그 시간은 우리 쪽으로 넘어오거든요.

읽는 방법은 하나입니다. 파일럿 기간에 공급사가 손댄 횟수와 항목을 목록으로 받아, 그중 우리 담당자가 지금 그대로 할 수 있는 것과 못 하는 것을 갈라 표시합니다. 못 하는 쪽이 많으면 그 항목들이 본도입 첫 달의 사람 시간이 되고, 그 값을 더한 뒤에야 세 값이 우리 회사의 값이 됩니다.

공급사 운전 자체가 흠은 아닙니다. 짧은 기간에 가능성을 보는 목적에는 오히려 맞는 방식이고, 판정 자리에서 그 사실을 값에 반영해 두기만 하면 되죠.

세 값을 계속·중단·재설계로 옮기면 어떻게 되나요?

판정은 셋인데 표에는 네 줄이 나옵니다. 계속에 시점이 붙기 때문입니다.

판정	재현성	운영 부담	확장 단가	이 조합이 말하는 것
계속 — 지금	셋 중 둘 이상 바꿔도 유지	주차마다 내려가는 중	물량이 다른 주에도 평평하거나 하락	대상 업무와 만든 것이 둘 다 맞았다
계속 — 확인 뒤	셋 중 둘 이상 바꿔도 유지	주차마다 내려가는 중	물량을 바꿔 본 적이 없어 방향이 빈칸	결정 자체는 맞지만 시점이 이르다
재설계	한 조건에서만 유지	평평하거나 올라감	올라감	범위·입력·담당 가운데 한 곳이 어긋났다
중단	조건을 바꾸면 유지되지 않음	올라감	올라감	대상 업무 선정이 어긋났다

표를 세로로 읽어 보면 위쪽 두 줄이 걸립니다. 세 값 중 두 개가 똑같고, 둘을 갈라놓는 것은 아무도 재 보지 않은 셋째 값 하나뿐이거든요.

성적이 가장 좋은 자리에서 결정이 갈리는데, 그 결정을 가르는 값은 성적이 좋을수록 확인되지 않은 채 지나갑니다. 잘 돌아가는 파일럿에서 굳이 물량을 흔들어 볼 이유를 찾기가 어렵거든요.

아래 두 줄은 사정이 다릅니다. 재설계와 중단은 값의 모양이 비슷해 보이지만, 재현성 열에서 갈립니다. 한 조건에서라도 유지됐다면 만들 수 있다는 것은 증명된 것이고, 남은 문제는 어디를 다시 짜느냐죠.

파일럿이 잘됐는데도 결정을 미뤄야 하는 경우는 언제인가요?

두 번째 줄이 그 자리입니다. 재현성도 나오고 사람 손도 줄고 있는데, 그 성적이 하루 40건짜리 세계에서만 확인된 경우죠.

미루는 기간에 할 일은 하나입니다. 물량을 한 번 올려 보고 건당 비용과 건당 사람 시간을 다시 재는 것. 파일럿 환경이 아직 살아 있다면 2주면 되는 일이고, 이미 걷어 냈다면 본도입 첫 단계를 한 부서로 좁혀 같은 값을 받습니다.

물량을 올리는 방법도 전면 확대일 필요는 없습니다. 하루 중 두 시간만 골라 그 시간대에 들어오는 건을 평소의 세 배로 밀어 넣어도, 예외 비율과 확인 대기가 어떻게 움직이는지는 그 두 시간에 드러나거든요. 밀린 건이 그날 안에 소화되는지까지 보면 값 하나가 더 붙습니다.

저희는 AI 에이전트를 만들어 파는 쪽이라 이 자리에서 본도입을 권하는 편이 유리합니다. 그런데도 미루자고 말하는 이유는, 여기서 아끼는 2주가 계약 뒤에 드러나는 비용보다 언제나 싸기 때문입니다. 400건에서 단가가 꺾이는 구조는 계약서에 서명한 다음에 발견해도 구조 자체가 바뀌지 않습니다.

미루자는 말이 조직에서 잘 안 나오는 이유는 따로 있습니다. 넉 달을 밀어 온 담당자에게 2주를 더 기다리자는 말은 성과를 늦추자는 말로 들리고, 승인권자 쪽에서는 결정을 못 내리는 것으로 비치거든요.

그래서 미룰 때는 대상을 좁혀서 말합니다. 전사 확대를 미루는 것이지 이 프로젝트를 미루는 것이 아니고, 그 2주에도 파일럿은 계속 돌아가며 값 하나를 더 만든다고 적으면 회의의 온도가 달라집니다.

미루는 결정에는 기한과 재개 조건을 함께 적습니다. 무엇을 재고 값이 어떻게 나오면 계속으로 넘어가는지가 문장으로 없으면, 보류는 며칠 안에 흐지부지한 연장이 됩니다.

기한 없는 보류는 판정이 아니라 판정의 회피입니다.

성적이 좋으면 확장 단가는 늘 묻히나요?

언제나 그런 것은 아닙니다. 반례를 스스로 찾아보면 금방 나옵니다. 물량을 두 구간으로 나눠 설계한 파일럿에서는 성적이 아무리 좋아도 셋째 값이 빈칸으로 남지 않으니까요.

앞의 2주는 하루 40건, 뒤의 2주는 하루 120건으로 돌린 파일럿이라면 종료 시점에 값이 두 개 있습니다. 두 값을 이으면 방향이 나오고, 그 방향은 성적과 무관하게 잡힙니다.

그래서 판정을 정밀하게 다시 적으면 이렇게 됩니다. 셋째 값이 묻히는 것은 성적의 성질이 아니라 한 가지 물량으로만 돌린 파일럿의 성질입니다.

이 구분이 실무에서 갖는 뜻은 처방이 옮겨 간다는 것입니다. 판정 회의를 더 꼼꼼히 하는 것으로는 빈칸이 채워지지 않고, 다음 파일럿의 설계에 물량 구간 하나를 더 넣어야 채워집니다.

재현성이 비어 있으면 나머지 두 값은 버리나요?

버리지 않습니다. 이 질문도 한 번 되짚어 볼 만한데, 재현되지 않는 결과 위에서 잰 운영 부담과 단가는 본도입 판정의 근거로 쓸 수 없는 것이 맞습니다. 결과가 흔들리는데 그 결과를 얻는 비용만 정확할 수는 없으니까요.

다만 판정 근거로 못 쓴다는 것과 쓸모가 없다는 것은 다릅니다. 두 값은 재설계에서 어디를 다시 짤지 가리키는 자리로 남습니다.

재현이 안 되는데 사람 시간이 사전 손질에 몰려 있다면, 다시 짤 곳은 에이전트가 아니라 입력입니다. 같은 상황에서 시간이 실패 재처리에 몰려 있다면 예외 규칙 쪽이고요.

그래서 세 값을 읽는 순서는 이렇게 정리됩니다. 재현성이 판정 갈래를 고르고, 나머지 두 값이 그 갈래 안에서 할 일을 고릅니다.

중단으로 판정하면 무엇이 남나요?

기록이 남습니다. 중단은 넉 달을 버리는 결정이 아니라 그 넉 달로 산 정보를 확정하는 결정이거든요.

손에 남는 것은 대개 넷입니다.

업무 규칙을 문장으로 적어 본 문서. 그 업무를 아는 사람 머릿속에만 있던 것이 밖으로 나온 상태죠.
실제로 부딪힌 예외 목록. 다음 후보 업무를 고를 때 이 목록이 난이도 판단의 재료가 됩니다.
데이터가 어떤 상태인지에 대한 실측. 양식이 몇 가지이고 빈칸이 얼마나 되는지를 세어 본 회사는 드뭅니다.
연동이 되는지 안 되는지에 대한 답. 계정 발급과 권한에서 걸렸다면 그 벽은 다른 업무에서도 그대로 만납니다.

넷 다 다음 파일럿에서 다시 사지 않아도 되는 것들입니다.

중단 보고에 이 넷을 함께 올리면 회의의 성격이 달라집니다. 무엇이 안 됐는지를 설명하는 자리에서, 다음에 어느 업무를 고를지 정하는 자리로요.

중단이 나온 뒤 곧바로 다른 업무를 고르는 경우도 많습니다. 예외가 적고 양식이 하나로 정해져 있으며 담당자가 한 팀에 모여 있는 업무를 위 목록에서 골라내면, 두 번째 파일럿은 첫 번째보다 짧게 끝나는 편입니다.

재설계는 무엇을 다시 짜는 일인가요?

셋 중 한 곳입니다. 전부 다시 짜는 것은 재설계가 아니라 새 파일럿이고, 그 둘을 구분하지 않으면 기한이 무한정 늘어납니다.

다시 짤 곳	이 자리를 가리키는 값	실제로 하는 일
범위	재현성이 특정 유형의 건에서만 유지됨	대상 업무를 잘 되는 유형으로 좁혀 다시 정의
입력	사람 시간이 사전 손질에 몰림	양식 통일, 필수 항목 검증, 원천 시스템에서 직접 읽기
담당	재현성이 한 사람의 손에서만 유지됨	절차 문서화와 두 번째 담당자의 실행

재설계에는 기한과 판정일을 함께 적어 둡니다. 2주나 4주처럼 짧게 끊고, 그날 같은 세 값을 다시 재서 판정한다고 정해 두면 재설계가 연장으로 미끄러지지 않죠.

다시 잴 때는 앞 회차의 값을 옆에 놓습니다. 재설계의 성패는 값이 좋아졌는지가 아니라 손댄 자리의 값이 움직였는지로 보거든요. 입력을 정비했는데 사전 손질 시간이 그대로라면 원인을 잘못 짚은 것이고, 그 사실은 다음 판정에서 다른 자리를 고르게 해 줍니다.

재설계를 두 번 이상 반복하게 되면 그 자체가 신호입니다. 두 번을 손봐도 값이 움직이지 않는다면 문제는 설계가 아니라 업무 선정에 있을 가능성이 큽니다. 그때는 재설계를 한 번 더 하는 대신 중단으로 판정하고, 손에 남은 목록에서 다음 업무를 고르는 편이 빠릅니다.

판정은 누가 언제 하나요?

파일럿이 끝나고 열흘 안에, 예산을 승인한 사람이 있는 자리에서 합니다. 값이 손에 있는 상태로 넘기면 판정은 미뤄지고, 미뤄진 판정은 기록이 흐려진 뒤에 인상으로 내려집니다.

그 자리에는 세 사람이 함께 앉는 편이 낫습니다. 값을 만든 담당자, 그 업무를 실제로 하는 현업, 그리고 예산을 쥔 사람. 현업이 빠지면 사람 시간이 과소 계상된 채로 표가 굳고, 예산 쪽이 빠지면 판정이 권고로 끝나 다시 회의를 잡게 됩니다.

보고 문서는 길 필요가 없습니다. 세 값과 판정, 그리고 그 판정이 뒤집히려면 무엇이 달라져야 하는지 한 줄이면 승인권자가 결정할 재료는 갖춰지거든요.

결정은 문장으로 적어 회의록에 남깁니다. 넉 달 뒤에 같은 업무를 다시 논의하게 됐을 때, 그때 무엇을 근거로 무엇을 정했는지가 남아 있는 것과 남아 있지 않은 것은 두 번째 회의의 길이를 바꿉니다.

제가 이 자리에서 자주 보는 어긋남은 보고서의 앞뒤가 다르다는 것입니다. 본문에는 담당자가 매일 결과를 확인했다는 서술이 있는데 결론에는 자동화 완료라고 적혀 있는 식이죠. 세 값을 표로 먼저 적어 두면 이런 문장은 보고서에 들어가기 전에 걸립니다.

임원 보고에서 어떤 자료가 결정을 움직이는지는 투자 판단을 바꾸는 데이터에서 다루고 있습니다. 파일럿 판정 자리에서는 그중 실측으로 바뀐 항목이 무엇인지를 앞세우면 됩니다.

파일럿 기록이 부실하면 지금 무엇을 할 수 있나요?

먼저 남아 있는 흔적부터 긁어모읍니다. 값이 처음부터 설계되지 않았어도 파일럿은 흔적을 남기거든요.

도구의 실행 로그: 실행 시각, 실행 계정, 성공·실패 표시가 대개 그대로 남아 있습니다.
메신저 대화: 담당자가 언제 무엇을 손으로 처리했는지가 시간과 함께 기록돼 있습니다.
결재·전표 기록: 처리 건수는 에이전트 쪽 로그보다 업무 시스템 쪽이 정확한 경우가 많습니다.

이렇게 모아도 건당 사람 시간이 안 나오면, 2주짜리 재관측을 붙이는 편이 빠릅니다. 담당자가 매일 5분씩 그날 손댄 시간을 적기만 해도 값은 만들어지니까요.

무엇을 언제부터 재는지 자체가 막막하다면 생산성 지표를 세우는 방법이 출발점이 됩니다. 판정에 쓰는 세 값은 그중 파일럿 구간에서 되찾을 수 있는 것만 골라낸 것이죠.

되살릴 수 없는 값도 있습니다. 물량이 달랐던 구간이 아예 없었다면 확장 단가는 어떤 기록에서도 나오지 않고, 그 칸은 재관측 말고는 채울 방법이 없죠.

그래도 판정은 됩니다. 재현성이 유지되는 상태에서 빈칸이 확장 단가뿐이라면 갈 수 있는 줄은 계속 가운데 확인 뒤 하나뿐이라는 것이 표에서 바로 읽히니까요. 재현성부터 무너졌다면 빈칸과 무관하게 아래 두 줄이 자리입니다.

기록이 아예 없는 상태에서 잘됐다는 인상만으로 본도입을 결재하면, 다음 판정 자리에서도 같은 상태가 반복됩니다. 첫 판정에서 값을 만들어 둔 회사는 두 번째 업무에서 그 표를 그대로 씁니다. 그래서 이 표를 채우는 비용은 한 번만 드는 셈이죠.

다음 판정 회의에 무엇을 들고 가나요?

네 가지를 준비하면 회의는 한 시간 안에 끝납니다. 값을 찾는 데 걸리는 시간이 대부분이고, 판정 자체는 표를 보면 정해지거든요.

세 값을 적은 표. 재현성은 바꿔 본 조건의 개수로, 나머지 둘은 숫자와 방향으로 적습니다.
빈칸 표시. 재지 않은 값은 0으로 적지 않고 빈칸으로 두어야 판정에서 그 칸이 보입니다.
네 줄 중 우리가 어디에 있는지. 계속·중단·재설계, 그리고 계속이라면 지금인지 확인 뒤인지까지요.
판정이 뒤집히는 조건 한 줄. 무엇이 어떻게 나오면 다른 줄로 옮겨 가는지를 적어 둡니다.

네 가지를 앞에 놓고 나면 회의에서 다툴 거리가 줄어듭니다. 남는 논쟁은 값의 해석이지 값의 존재가 아니고, 해석이 갈리면 어느 기록을 다시 보면 되는지도 정해져 있으니까요.

채워 둔 표를 놓고 우리가 어느 줄에 있는지 같이 읽어 볼 자리가 필요하시면 도입 문의에 파일럿 기간과 대상 업무, 지금 손에 있는 기록의 종류를 적어 주십시오. 저희는 판정이 중단이나 재설계로 나온 경우도 같은 자리에서 다룹니다. 다음에 어느 업무를 고를지가 그 대화의 절반이거든요.

자주 묻는 질문

파일럿 기간이 2주밖에 안 됐는데 세 값을 낼 수 있나요?

재현성과 운영 부담은 2주로도 나옵니다. 첫 주와 둘째 주를 나눠 보면 방향이 잡히고, 담당자를 바꿔 돌린 날이 하루라도 있으면 조건 하나는 채워지죠. 확장 단가만 기간이 아니라 물량에 걸린 값이라, 2주 안에 물량이 달랐던 날이 없다면 그 칸은 빈칸으로 두고 판정합니다.

공급사가 파일럿을 무료로 진행해 준 경우에도 판정 기준이 같나요?

값을 읽는 기준은 같지만 확장 단가 칸에 주의가 하나 붙습니다. 무료 구간에서는 모델 호출료나 지원 인력 비용이 청구서에 나타나지 않아, 건당 비용이 실제보다 낮게 잡히거든요. 유상 전환 뒤의 단가표를 미리 받아 파일럿 물량에 대입해 보면 그 칸이 채워집니다.

재현성을 확인하려고 담당자를 바꾸면 파일럿 기간이 길어지지 않나요?

전체 기간을 늘릴 필요는 없습니다. 마지막 주의 며칠을 두 번째 담당자에게 넘기는 것으로 조건 하나는 확인되고, 그 며칠에 나온 성공률 차이가 절차 문서의 빈 곳을 그대로 짚어 주죠. 인수인계에 걸린 시간 자체도 본도입 뒤 신규 담당자를 붙일 때 쓸 수 있는 값입니다.

여러 업무를 한 파일럿에서 함께 돌렸다면 판정도 하나인가요?

업무별로 나눠 판정하는 편이 정확합니다. 세 값이 업무마다 다르게 나오는 일이 흔한데, 뭉쳐서 평균을 내면 잘 되는 업무가 안 되는 업무를 가려 버리거든요. 한 업무는 계속이고 다른 업무는 재설계라는 결론도 정상적인 결과입니다.

현업의 반응이 좋다는 의견은 판정에 넣지 않나요?

판정표에는 올리지 않고 회의록에 남깁니다. 다시 세어 볼 수 없는 값이라 회차 간 비교가 되지 않기 때문이죠. 다만 반응이 나쁘다는 신호는 다르게 다룹니다. 현업이 결과를 믿지 않아 따로 다시 확인하고 있다면 그 시간은 건당 사람 시간에 들어가야 할 값이라, 세었는지부터 되짚어 봅니다.

본도입을 결정한 뒤 첫 달에는 무엇을 다시 재나요?

같은 세 값을 그대로 잽니다. 판정 시점과 다른 점은 조건이 실제로 바뀐 상태에서 재게 된다는 것이죠. 담당자가 늘고 물량이 오르고 데이터가 넓어진 뒤의 값이 파일럿 값에서 얼마나 벌어졌는지를 보면, 확장 속도를 어디서 조절할지가 첫 달 안에 정해집니다.

참고 자료

가트너(Gartner), “Gartner Says AI Projects in I&O Stall Ahead of Meaningful ROI Returns”, 2026년 4월 7일 보도자료 — 응답자 782명(조사 2025년 11~12월 / 발표 2026년 4월), AI 활용 사례 가운데 기대 ROI 온전 충족 28%와 완전 실패 20%(2026-08-27 확인): https://www.gartner.com/en/newsroom/press-releases/2026-04-07-gartner-says-artificial-intelligence-projects-in-infrastructure-and-operations-stall-ahead-of-meaningful-roi-returns
파일럿 종료·본도입 전환 국면에 대한 자사 1차 관찰(2026년, 익명·비집계) — 안효준(하마다랩스 윈디플로 프로덕트 매니저). 다룬 범위는 셋 — ① 성공률이 단일 담당자의 실행 기록에서만 나온 경우에 나타나는 판정 지연 ② 종료 보고서의 본문 서술과 결론이 서로 어긋나는 형태 ③ 물량 구간을 하나만 두고 진행한 파일럿에서 확장 단가 칸이 빈칸으로 남는 경향. 특정 고객사나 경쟁사의 사례가 아니며, 건수·기간을 집계한 자료도 아님
하마다랩스 서비스 소개(AI 에이전트 구축·운영): https://www.hamadalabs.com/service/ai-agent
윈디플로 플랫폼 소개 — 외부 시스템 연동 범위와 온프레미스 배포 지원 여부: https://www.hamadalabs.com/platform

작성자

안효준 — 하마다랩스 윈디플로 프로덕트 매니저. 파일럿과 POC가 남긴 기록을 어떤 값으로 읽어야 본도입 여부가 갈리는지, 여러 솔루션을 견줄 때 잣대를 어떻게 세우는지를 주로 다룹니다. 소속 회사: https://www.hamadalabs.com/