SITE INFORMATION

운영·편집 원칙

Inference Budget는 Doeon Kim (GitHub: KIM3310)이 운영하는 무료 웹 도구와 실무 해설 사이트입니다. 가중치, KV 캐시, 문맥 길이와 동시 요청 수를 나눠 계산하세요. 추정의 가정을 확인하고, 배포 전에 실측할 항목을 정리합니다.

편집 원칙

예제는 기능을 설명하기 위해 만든 합성 자료입니다. 실제 고객의 성과나 사용자 수로 표현하지 않습니다. 계산 가정과 미지원 범위를 공개하고, 구현과 문서가 어긋나면 함께 수정합니다. 도구의 결과를 전문적인 검토나 실제 운영 검증의 대체물로 제시하지 않습니다.

원본 프로젝트와의 관계

이 웹사이트의 도구는 기존 llm-onprem-deployment-kit 프로젝트와 관련된 작업을 브라우저에서 수행하도록 추가한 별도 기능입니다. 저장소의 서버·모델·인프라를 이 페이지에서 실행하지 않습니다. 밀집 디코더 모델의 전체 어텐션을 가정한 산술 모델입니다. 실제 GPU 성능, 분산 배치 성공, 모델 품질 또는 구매 적합성을 보장하지 않습니다.

출처와 검증

설명은 공개 구현의 실제 동작에 맞춰 작성합니다. 일반 기술 배경은 아래 원문을 함께 참고할 수 있습니다. 이 사이트는 해당 기술 제공자의 공식 서비스가 아닙니다.

• 프로젝트 배포·검증 코드
• Hugging Face KV 캐시 계산 설명

수정 요청

잘못된 결과나 설명을 발견하면 오류 제보 안내에 따라 재현 가능한 가상 예제를 보내 주세요. 확인되지 않은 실측 성능, 인증, 고객 사용 사례는 표시하지 않습니다.