Home › Dashboards › vLLM Monitoring – Purpose View
ServerAll
ModelAll
실시간 갱신 중
사용 목적별 토큰 사용량 선택 기간
서버별 부하 running requests
server-aserver-b
Purpose별 Traffic & Latency
Queue Time P95
이 페이지는 Grafana가 아니라, 직접 만든 Grafana 대시보드의 구성을 웹으로 재현한 것입니다. 데이터는 가상 값이며 실제 사내 화면이나 수치가 아닙니다. 각 패널의 PromQL 버튼으로 실제 사용한 쿼리를 볼 수 있습니다.
실시간 갱신 중
| 관찰 패턴 | 우선 의심할 원인 |
|---|---|
| TTFT 상승, TPOT 정상 | 대기열 증가 또는 긴 prompt의 prefill 부담 |
| TTFT 정상, TPOT 상승 | decode 단계 또는 GPU 처리 성능 저하 |
| E2E만 크게 상승 | 긴 출력 요청 또는 응답 길이 증가 |
| 세 지표 모두 상승 | 서버 포화 또는 전반적인 처리 성능 저하 |
Counter인 토큰·요청 수에는 increase()와 rate()를, 현재값인 Gauge(running requests)에는 원본값을, 지연 histogram에는 histogram_quantile()을 적용했습니다. 평균 대신 p95를 써서 일부 느린 요청이 평균에 가려지지 않도록 했습니다.