← 포트폴리오로

사용 목적별 vLLM 모니터링 대시보드 데모

이 페이지는 Grafana가 아니라, 직접 만든 Grafana 대시보드의 구성을 웹으로 재현한 것입니다. 데이터는 가상 값이며 실제 사내 화면이나 수치가 아닙니다. 각 패널의 PromQL 버튼으로 실제 사용한 쿼리를 볼 수 있습니다.

  1. ① Purpose 필터로 용도 선택
  2. ② 패널 값은 최근 30초 p95
  3. ③ 과부하 재현으로 튀는 용도 확인
  4. ④ PromQL로 집계 방식 확인
Home › Dashboards › vLLM Monitoring – Purpose View
ServerAll
ModelAll

실시간 갱신 중

사용 목적별 토큰 사용량 선택 기간
서버별 부하 running requests
server-aserver-b
Purpose별 Traffic & Latency
Queue Time P95

TTFT·TPOT·E2E를 함께 보는 이유

관찰 패턴우선 의심할 원인
TTFT 상승, TPOT 정상대기열 증가 또는 긴 prompt의 prefill 부담
TTFT 정상, TPOT 상승decode 단계 또는 GPU 처리 성능 저하
E2E만 크게 상승긴 출력 요청 또는 응답 길이 증가
세 지표 모두 상승서버 포화 또는 전반적인 처리 성능 저하

Counter인 토큰·요청 수에는 increase()와 rate()를, 현재값인 Gauge(running requests)에는 원본값을, 지연 histogram에는 histogram_quantile()을 적용했습니다. 평균 대신 p95를 써서 일부 느린 요청이 평균에 가려지지 않도록 했습니다.