¿Qué es la latencia P99?
¿Qué representa la latencia P99? Sigo escuchando sobre esto en discusiones sobre el rendimiento de una aplicación, pero no pude encontrar un recurso en línea que hablara sobre esto.
Es el percentil 99 . Significa que el 99% de las solicitudes deberían ser más rápidas que la latencia dada. En otras palabras, sólo el 1% de las solicitudes pueden ser más lentas.
Imagine que está recopilando datos de rendimiento de su servicio y la siguiente tabla es la recopilación de resultados (los valores de latencia son ficticios para ilustrar la idea).
Latency Number of requests
1s 5
2s 5
3s 10
4s 40
5s 20
6s 15
7s 4
8s 1
La latencia P99 de tu servicio es de 7s. Sólo el 1% de las solicitudes tardan más. Entonces, si puede disminuir la latencia P99 de su servicio, aumentará su rendimiento.
Podemos explicarlo mediante una analogía: si 100 estudiantes están corriendo una carrera, entonces 99 estudiantes deberían completar la carrera en tiempo de "latencia".
Tomemos un ejemplo de aquí.
Request latency:
min: 0.1
max: 7.2
median: 0.2
p95: 0.5
p99: 1.3
Entonces podemos decir que en el 99 por ciento de las solicitudes web, la latencia promedio encontrada fue de 1,3 ms (milisegundos/microsegundos depende de las medidas de latencia configuradas de su sistema). Como dijo @tranmq, si disminuimos la latencia P99 del servicio, podemos aumentar su rendimiento.
Y también vale la pena señalar el p95, ya que puede haber pocas solicitudes que hagan que p99 sea más costoso que p95, por ejemplo, solicitudes iniciales que generan caché, calentamiento de objetos de clase, inicio de subprocesos, etc. Por lo tanto, p95 puede estar eliminando ese 5% peor. escenarios de casos. Aún de ese 5%, no conocemos el percentil de los casos de ruido real versus las entradas del peor caso.
Finalmente; podemos tener aproximadamente un 1% de ruido en nuestras mediciones (como congestiones de red, interrupciones, degradaciones del servicio), por lo que la latencia p99 es un buen representante de prácticamente el peor de los casos. Y, casi siempre, nuestro objetivo es reducir la latencia de p99.
