AI 기능의 비용은 토큰당이 아니라 업무당 봐야 한다

AI 서비스의 단가를 입력·출력 토큰 가격만으로 비교하면 실제 운영비를 놓칩니다. 하나의 업무를 끝내는 데 검색, 재시도, 도구 호출, 사람 검토가 몇 번 발생하는지 봐야 합니다. 비용의 단위를 ‘호출’이 아니라 ‘완료된 업무’로 바꿔야 합니다.

업무 완료를 먼저 정의한다

고객 문의라면 답변 한 문장을 생성한 순간이 아니라 고객이 재문의 없이 문제를 해결했을 때가 완료일 수 있습니다. 문서 추출이라면 사람이 수정한 뒤 시스템에 반영된 건을 기준으로 삼습니다.

숨은 호출을 합산한다

검색 인덱스 조회, 임베딩, 모델 추론, 실패 재시도, 외부 도구, 저장소가 모두 비용에 들어갑니다. 평균 토큰 수만 보지 말고 긴 문서나 반복 질문 같은 꼬리 사례의 비용을 따로 확인합니다.

사람 검토 비용을 더한다

자동화 결과를 매번 직원이 확인한다면 모델 사용료가 싸도 전체 비용은 높을 수 있습니다. 검토 비율과 건당 소요 시간, 재작업률을 함께 기록해야 합니다.

품질과 비용을 함께 비교한다

저렴한 모델이 오류를 더 많이 내면 재시도나 고객 응대 비용이 증가할 수 있습니다. 후보별로 완료율, 오류 심각도, 처리 시간, 업무당 총비용을 같은 테스트셋에서 비교합니다.

상한과 중단 규칙을 둔다

한 요청이 반복 호출로 예산을 소모하지 않도록 단계별 최대 호출 수와 비용 한도를 둡니다. 한도에 도달하면 불완전한 답을 강행하기보다 사람에게 넘기는 경로를 준비합니다.

현장에 적용할 때의 순서

1. 업무 완료 기준과 재작업을 정의
2. 모든 모델·검색·도구·검토 비용을 합산
3. 완료율과 총비용으로 대안 비교

주의할 실패: 토큰 단가만 보고 가장 싼 모델을 선택

관찰할 지표: 완료 업무당 비용·재작업률·이관율

적용 전 체크리스트

• 업무 완료와 재작업의 정의를 합의한다
• 검색·추론·도구·검토 비용을 한 건에 묶는다
• 긴 요청의 비용 상한과 사람 이관 규칙을 둔다

참고 자료

AWS Well-Architected — Generative AI Lens. 생성형 AI 시스템을 비용과 운영 관점에서 검토하는 프레임은 AWS 공식 가이드를 참고했습니다. 업무당 총비용의 정의는 실무 분석 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#AI비용 #업무당비용 #LLM운영 #토큰비용 #AI도입 #자동화ROI #사람검토 #재시도 #비용관리 #AI품질