News

AI를 쓰고는 있는데, 남는 장사일까요?
'AI ROI'를 끌어올리는 법

부서별 AI 도입이 늘어난 지금,
비용 대비 효과를 가늠하고 성과를 끌어올리기 위해 전사 AI 전략 담당자가 무엇을 점검해야 하는지 살펴봅니다.

월말이 되면 토큰 청구서가 올라옵니다. 마케팅팀은 카피 초안을 뽑고, 개발팀은 코드 리뷰에 에이전트를 붙이고, CS팀은 상담 봇을 돌립니다. 도입 속도만 보면 더없이 빠릅니다. 그런데 정작 "이게 들인 돈만큼 값을 하고 있는가"라는 질문 앞에서는 회의실이 조용해집니다. 비용은 매달 또렷하게 찍히는데, 효과는 어딘가 흐릿합니다.

이 비대칭은 생각보다 흔합니다. MIT의 프로젝트 난다에 따르면, 전 세계 기업이 생성형 AI에 300~400억 달러를 쏟아부었음에도 도입 프로젝트의 약 95%가 측정 가능한 사업적 수익으로 이어지지 못한 것으로 나타났습니다. 눈여겨볼 대목은 그 원인입니다. 보고서는 실패의 배경으로 모델 성능 자체보다 '취약한 워크플로'와 '맥락 학습의 부족', 그리고 현업과의 괴리를 지목합니다. 바꿔 말하면 ROI가 안 보이는 건 AI가 무능해서가 아니라, 효과를 세는 틀이 없고 AI에 먹이는 데이터가 받쳐 주지 못해 토큰이 새기 때문인 경우가 많다는 뜻입니다. 이번 글에서는 전사 AI 전략 담당자의 시선에서 'AI ROI'를 어떻게 측정하고, 또 어떻게 끌어올릴 수 있는지 함께 짚어 보겠습니다.
 

가장 먼저 분리해야 할 것은 '활동 지표(activity metric)'와 '성과 지표(outcome metric)'입니다. 활동 지표는 얼마나 바쁘게 썼는지를 보여 줍니다. 월 토큰 사용량, 도입 부서 수, 생성한 문서 건수 같은 것들입니다. 성과 지표는 그래서 무엇이 남았는지를 보여 줍니다. 처리 시간 단축, 오류 감소, 전환율 개선입니다. 둘은 전혀 다른 질문에 답합니다.

문제는 많은 조직이 활동 지표를 성과인 양 보고한다는 데 있습니다. "이번 분기 토큰 사용량이 3배 늘었습니다"는 말은 성과처럼 들리지만, 실은 비용이 3배 늘었다는 뜻일 수도 있습니다. 바쁘게 쓰는 것과 남는 것은 다릅니다.

여기에 비용과 편익의 비대칭이 겹칩니다. 토큰 요금과 API 청구서는 숫자로 선명하게 들어옵니다. 반면 "상담 응대가 얼마나 빨라졌는가", "보고서 품질이 얼마나 나아졌는가"는 측정하지 않으면 영영 흐릿한 채로 남습니다. 선명한 비용과 흐릿한 편익을 나란히 놓으면, AI는 쉽게 '밑 빠진 독'처럼 보이게 됩니다. ROI를 논하기 전에 먼저 할 일은, 흐릿한 쪽을 측정 가능한 숫자로 끌어올리는 것입니다.

ROI는 단순한 식입니다. (효익 − 비용) ÷ 비용. 어려운 건 식이 아니라, 양쪽에 '숨은 항목'이 많다는 점입니다.

분모인 비용부터 보겠습니다. 토큰 요금만 떼어 놓고 보면 꽤 싸 보입니다. 하지만 실제 비용은 거기서 끝나지 않습니다. 모델이 한 번에 제대로 답하지 못해 생기는 재시도, 필요 이상으로 긴 과잉 컨텍스트, 아예 실패로 끝난 호출이 토큰을 야금야금 잠식합니다. 여기에 결과물을 검수하고 교정하는 사람의 시간, AI에 먹일 데이터를 준비하는 비용까지 더해야 분모의 전체 그림이 나옵니다.

분자인 효익은 반대의 문제를 안고 있습니다. "매우 뛰어나다", "업무가 혁신됐다" 같은 형용사로 도피하기 쉽습니다. 하지만 ROI 계산에 들어가려면 효익도 숫자여야 합니다. 절감한 시간을 인건비로 환산하고, 줄어든 오류 건수를 비용으로 바꾸고, 단축된 리드타임을 금액으로 적어야 합니다.

여기서 눈여겨볼 항목이 분모의 '재시도'와 '과잉 컨텍스트'입니다. 이 둘은 뒤에서 다시 등장합니다. ROI를 끌어올리는 열쇠가 바로 여기에 숨어 있기 때문입니다.

'토큰 거버넌스'라고 하면 흔히 '절약'을 떠올립니다. 하지만 핵심은 아껴 쓰는 데 있지 않습니다. 쓰는 양을 어디에 귀속시킬지, 즉 배분·귀속·한도를 관리하는 데 있습니다.

이유는 단순합니다. 토큰을 '전사 총액'으로만 보면 ROI를 계산할 단위 자체가 없습니다. 어떤 유스케이스가 값을 하고 어떤 유스케이스가 적자인지 분간할 수 없기 때문입니다. 그래서 사용량을 부서·유스케이스·에이전트 단위로 귀속(attribution)시켜야 비로소 "이 상담 봇은 건당 얼마가 들고 얼마를 아끼는가"라는 질문에 답할 수 있습니다.

전략 담당자가 당장 손댈 수 있는 지점은 세 가지입니다.

AI 에이전트는 이 문제를 한층 키웁니다. 에이전트는 하나의 작업을 위해 여러 단계로 모델을 호출하므로 토큰이 곱절로 듭니다. 그래서 에이전트의 ROI를 가를 실질 변수는 호출 횟수가 아니라 성공률·완주율·개입(휴먼 핸드오프) 빈도입니다. 열 번 중 세 번을 사람이 넘겨받아 마무리한다면, 그 에이전트는 자동화가 아니라 반자동화입니다. 다만 모든 업무에 에이전트가 정답은 아닙니다. 단순하고 위험이 낮은 반복 업무라면 다단계 에이전트는 오히려 과투자일 수 있습니다. 현장에서 겪어 보면, 규칙 몇 줄로 끝날 일에 에이전트를 붙여 토큰만 축내는 경우를 적지 않게 봅니다.

지금까지는 ROI를 '보이게' 만드는 이야기였습니다. 측정 틀을 세우면 어디서 돈이 새는지 드러납니다. 하지만 드러내는 것과 막는 것은 다릅니다. 그렇다면 새는 구멍을 실제로 막으려면 무엇부터 손대야 할까요?

답은 AI에 먹이는 데이터의 질입니다. 앞서 분모에서 짚었던 재시도·과잉 컨텍스트·오답의 상당수가, 알고 보면 데이터가 AI가 쓰기 좋게 정돈돼 있지 않아서 생깁니다. 인과를 따라가 보면 선명합니다.

이렇게 AI가 곧바로 활용하도록 의미와 맥락이 정돈된 데이터를 'AI Ready Data'라고 부릅니다. 거창한 개념이 아니라, 토큰 효율과 성과를 떠받치는 토대입니다. 좋은 식재료를 미리 다듬어 두면 같은 요리를 더 빨리, 덜 버리면서 만들 수 있는 것과 같습니다. 날것 그대로의 재료를 주방에 던져 놓으면, 손질에 드는 시간과 버리는 양이 결국 원가로 돌아옵니다. AI에게 데이터를 먹이는 일도 다르지 않습니다.

실행은 거창할 필요 없습니다. 자주 쓰는 유스케이스의 입력 데이터부터 용어와 표준을 통일하고, 메타데이터와 데이터 간 관계(맥락)를 보강하고, 접근 권한과 경로를 정리하는 데서 시작합니다. 중요한 건 회계적 관점의 전환입니다. 데이터 정비를 단순 비용이 아니라 ROI를 끌어올리는 투자로 다루는 것입니다.

물론 데이터만 손보면 모든 게 해결되는 것은 아닙니다. 데이터가 완벽해도 애초에 잘못 던진 질문이나 과투자한 유스케이스는 여전히 적자입니다. 정비 작업 자체에도 사람과 시간이 들어 분모에 더해집니다. 데이터 품질은 ROI의 유일한 변수가 아니라, 가장 레버리지가 큰 변수입니다.

지금까지의 논의를 전사 관점에서 분기 또는 월 단위로 돌아볼 점검 항목으로 정리하면 다음과 같습니다.

마지막 항목이 특히 중요합니다. 거버넌스의 목적은 모든 유스케이스를 성공시키는 것이 아니라 옥석을 가리는 데 있습니다. ROI가 끝내 안 나오는 유스케이스를 접는 결정도, 성과가 나는 유스케이스의 데이터부터 먼저 정비하는 결정도 모두 전략 담당자의 몫입니다. 둘 다 '덜 쓰기'가 아니라 '제대로 배분하기'라는 점에서 같은 일입니다.

정리하면, AI ROI는 "더 아껴 쓰기"의 문제가 아닙니다. "무엇을 측정 단위로 삼고, 무엇에 먼저 투자하는가"의 문제입니다. 활동이 아니라 성과로, 총액이 아니라 귀속으로 보는 틀을 세우는 것이 'AI ROI'의 첫 단추입니다. 그리고 'AI Ready Data', 즉 AI가 쓰기 좋은 고품질 데이터로 토큰당 성과를 끌어올리는 것이 가장 확실한 지렛대입니다. 이 둘이 갖춰지면 월말의 토큰 청구서는 더 이상 두려운 비용표가 아니라, 어디에 더 투자하고 어디서 손을 뗄지 알려 주는 의사결정 자료가 됩니다.

거창하게 시작할 필요는 없습니다. 지금 돌리고 있는 한 가지 유스케이스를 골라, ① 비용 귀속과 성과 지표를 붙여 보고 ② 그 입력 데이터의 품질을 손봐 보시길 권합니다. 다만 기대는 현실적으로 잡는 편이 좋습니다. 효익을 완벽하게 계량하기는 여전히 어렵고, 데이터 정비에도 비용이 듭니다. 그럼에도 '토큰 거버넌스'의 틀 위에서 이 작업을 반복하다 보면, "AI를 쓰고는 있는데 남는 장사인가"라는 질문에 숫자로 답할 수 있는 날이 분명히 가까워집니다.