LLM 비용 폭주를 막는 요청별 예산과 캐시 설계
LLM 기능을 출시할 때 요청당 비용이 일정할 것이라고 가정하면 긴 문서와 반복 호출이 몰리는 날 예산이 흔들립니다. 비용 관리는 대시보드에서 지난달 합계를 보는 것보다 요청을 시작하기 전에 상한을 정하는 데서 시작합니다.
NOTES
LLMOps
모델을 만들고, 웹과 앱을 짓고, 업무를 자동화하며 확인한 것을 기록합니다. 통한 방법만이 아니라 통하지 않았던 시도까지 남깁니다.
전체
산업 AI
19
보안 엔지니어링
14
스마트팩토리
14
SaaS 아키텍처
11
데이터 아키텍처
11
AI 아키텍처
10
AI 운영
10
최적화 알고리즘
9
SaaS 운영
8
업무 자동화
8
서비스 운영
7
기업 AI
6
모바일 앱 설계
6
물류 최적화
6
산업 데이터
6
AI 보안
5
AI 품질
5
API 설계
5
SaaS 보안
5
백엔드 아키텍처
5
시스템 아키텍처
5
웹 성능
5
데이터 엔지니어링
4
문서 AI
4
수요 예측
4
앱 아키텍처
4
웹 접근성
4
AI 데이터
3
AI 컨설팅
3
SaaS 설계
3
UX 설계
3
데이터 분석
3
AI 마케팅
2
AI 품질관리
2
LLMOps
2
검색 최적화
2
권한 설계
2
기술 노트
2
데이터베이스
2
생산 최적화
2
소프트웨어 개발
2
알고리즘
2
예지보전
2
운영 관측성
2
운영 엔지니어링
2
웹 보안
2
웹 제품 설계
2
인력 최적화
2
재고 관리
2
클라우드 아키텍처
2
클라우드 운영
2
테스트 자동화
2
프로젝트 관리
2
AI 신뢰·보안
1
AI 알고리즘
1
AI 에이전트
1
API 보안
1
API 운영
1
API·업무 UX
1
DevOps
1
MLOps
1
OT 보안
1
검색 UX
1
검색·UX
1
데이터 거버넌스
1
데이터 보안
1
디지털 트윈
1
백엔드 설계
1
생산 스케줄링
1
서비스 안정성
1
설비 연동
1
소프트웨어 설계
1
소프트웨어 아키텍처
1
앱 개발
1
운영 안정성
1
웹 · SEO
1
웹 UX·검색
1
웹 개발
1
인증 보안
1
전력 품질
1
제조 데이터
1
제조 품질
1
케이스 스터디
1
클라우드 보안
1
TOTAL 2 · LLMOps
