FIELD NOTES
가중치, KV 캐시, 문맥 길이와 동시 요청 수를 나눠 계산하세요. 추정의 가정을 확인하고, 배포 전에 실측할 항목을 정리합니다.
한 번 저장하는 모델과 요청이 길어질 때 늘어나는 캐시를 구분합니다.
평균 요청 하나가 아니라 긴 요청이 겹치는 상황을 계산합니다.
모델 로딩부터 장시간 요청까지 확인할 항목을 정리합니다.