인사이트 · AI 개발 기록 | NatureFractal 네이처프랙탈

AI 응답이 느릴 때 모델 자체의 속도만 보면 해결책을 놓치기 쉽습니다. 사용자에게 보이는 대기 시간에는 검색, 권한 확인, 프롬프트 구성, 모델 첫 토큰, 도구 호출, 후처리가 모두 들어갑니다. 각 구간의 시간을 나눠야 실제 병목을 찾을 수 있습니다.

OCR 모델을 바꾸기 전에 입력 사진을 살펴봐야 할 때가 있습니다. 초점이 흐리거나 일부가 잘린 문서는 좋은 모델도 읽기 어렵습니다. 촬영 품질을 검사해 재촬영을 요청하면 잘못 읽은 값을 뒤늦게 수정하는 비용을 줄일 수 있습니다.

프롬프트는 코드처럼 보이지 않아도 서비스의 동작을 바꿉니다. 한 문장을 수정했는데 출력 형식이나 거절 기준이 달라질 수 있습니다. 따라서 프롬프트 변경은 텍스트 편집이 아니라 검증 가능한 배포 단위로 다뤄야 합니다.

AI가 사람 검토를 요청하는 건수가 늘면 모든 건을 접수 순서대로 처리하기 어렵습니다. 하지만 모델의 확신이 낮은 순서만 따르기도 위험합니다. 검토 지연의 피해와 실제 영향 범위를 함께 고려한 대기열이 필요합니다.

AI 서비스가 특정 모델 하나에만 의존하면 그 모델의 오류나 지연이 곧 업무 중단으로 이어집니다. 예비 모델을 연결하는 것만으로는 복구가 끝나지 않습니다. 성능과 권한, 출력 형식이 다른 모델로 무엇을 계속 제공할지 먼저 정해야 합니다.

AI 답변 100개를 평가해 평균 점수가 올랐더라도 현장 문의만 나빠졌다면 출시하면 안 됩니다. 전체 평균은 자주 들어오는 쉬운 질문에 끌릴 수 있습니다. 평가 데이터를 실제 업무의 실패 비용에 맞춰 나누어야 변경의 의미가 보입니다.

사내 검색 AI가 근거를 찾지 못했는데도 유창하게 답하면, 사용자는 그 답을 규정으로 받아들일 수 있습니다. 모른다는 응답은 기능 실패가 아니라 위험을 제어하는 정상 경로입니다. 어떤 때 답변을 보류하고 누구에게 넘길지 제품 규칙으로 설계해야 합니다.

AI 에이전트가 보고서를 요약하는 것과 실제 결제를 실행하는 것은 위험이 다릅니다. 둘 다 같은 도구 호출로 취급하면 사용자는 어느 순간 업무가 확정되는지 알기 어렵습니다. 사람이 승인해야 하는 경계는 모델의 자신감이 아니라 실행 결과의 영향으로 정해야 합니다.

서명된 다운로드 주소는 편리하지만 전달 가능한 접근 수단입니다. 만료·권한 회수·일회용 요구를 구분하고 파일 민감도에 맞게 전달 경로를 설계합니다.

현장에서 배운 것들