Latencia y throughput
- Lección 2 de 40
- 11 min
- Inicial
- 10 pasos
Dos preguntas que parecen la misma: cuánto tarda una petición y cuántas aguanta el sistema. Verás por qué no lo son y qué pasa cuando el servidor se llena.
- Latencia p50
- 120 ms
- Latencia p99
- 190 ms
- Rendimiento
- 350 pet/s
- Uso
- 35%
- petición
- respuesta
- petición lenta
- esperando en cola
- lote
Paso 1 de 10
Concepto
Latencia y throughput no son lo mismo
Latencia: cuánto tarda una petición en ir y volver. Sigue un punto desde la multitud hasta el servidor y de vuelta.
Throughput (rendimiento): cuántas peticiones termina el sistema por segundo. Cuenta los puntos que llegan.
Paso 2 de 10
Problema
El mismo servidor, siete veces más gente
Ahora llegan 7000 usuarios. El rendimiento sube a 350 pet/s porque el servidor todavía puede con ello: en este ejemplo su techo ronda las 500 pet/s, así que está ocupado el 70 % del tiempo.
Fíjate en la entrada del servidor: a veces una petición llega, lo encuentra ocupado y espera. El tiempo en cola también es latencia.
Qué cambió
- Usuarios: 1000 → 7000
- Rendimiento: 50 → 350 pet/s
- Una cola corta en la entrada
Paso 3 de 10
Problema
Cerca del 100 %, la latencia se dispara
Un tercio más de usuarios y el uso llega al 96 %. El rendimiento apenas sube (480 pet/s, casi el techo), pero la latencia se multiplica: el p99 pasa de 600 ms a 4,2 s.
Las peticiones no llegan en fila ordenada sino a ráfagas. Con margen, una ráfaga se despacha enseguida; sin margen, cada ráfaga se suma a la cola que ya había y tarda mucho en vaciarse. Por eso la curva tiene forma de palo de hockey.
Qué cambió
- Usuarios: 7000 → 9600
- Uso: 70 % → 96 %
- Cola: 2 → 6 en espera
- p99: 600 ms → 4,2 s
Paso 4 de 10
Concepto
La media miente
Volvemos al 70 % de uso. Casi todas las peticiones son rápidas, pero unas pocas se atascan detrás de trabajo lento (los puntos oscuros). La media sale en unos 180 ms y parece sana: las pocas lentas se diluyen.
Por eso se mide con percentiles. El p50 es el tiempo por debajo del cual queda la mitad de las peticiones; el p99, el que solo supera 1 de cada 100.
Qué cambió
- Volvemos a 7000 usuarios
- Algunas peticiones lentas
- p99: 4,2 s → 600 ms
Paso 5 de 10
Solución
Más margen, menos espera
Duplicamos los núcleos del servidor. Las mismas 350 pet/s ahora son solo el 35 % de su capacidad: la cola desaparece y bajan el p50 y el p99.
El rendimiento no cambia porque la demanda no cambió. Lo que ganamos es margen para que las ráfagas no se acumulen.
Qué cambió
- Servidor: 4 → 8 núcleos
- Uso: 70 % → 35 %
- La cola
- p99: 600 → 190 ms
Paso 6 de 10
Concepto
La distancia también es latencia
Ahora el servidor está en Madrid y los usuarios en Ciudad de México. El servidor no se ha vuelto más lento, pero cada viaje tarda más: mira cuánto tardan los puntos en cruzar.
La luz en la fibra recorre unos 200 km por milisegundo. Entre las dos ciudades hay unos 9000 km, así que cada ida y vuelta suma al menos ~90 ms, y en la práctica algo más, porque los cables no van en línea recta.
Qué cambió
- Servidor movido a Madrid
- ≥ 90 ms por cada ida y vuelta
- p50: 120 → 210 ms
Paso 7 de 10
Técnica
Cuántas peticiones hay en curso
Una regla une los tres números: en curso = rendimiento × latencia. Con 350 pet/s y 0,12 s cada una, hay unas 42 peticiones a medias en cualquier momento.
Cada una ocupa un hilo, una conexión o memoria. Si la latencia sube a 1 s con el mismo rendimiento, pasan a ser 350 en curso, y un pool pensado para 50 se agota.
Qué cambió
- ≈ 42 peticiones en curso
Paso 8 de 10
Problema
Una búsqueda, muchos servidores
Una búsqueda consulta 100 servidores de índice a la vez (aquí ves 6) y tiene que esperar al más lento. Cada uno responde rápido el 99 % de las veces, pero con 100 casi siempre alguno va lento.
1 − 0,99¹⁰⁰ ≈ 63 %: casi dos de cada tres búsquedas esperan al p99 de alguien. Lo raro en un servidor se vuelve lo normal para la página.
Qué cambió
- 100 servidores de índice (se ven 6)
- La búsqueda espera al más lento
- p99: 190 → 900 ms
Paso 9 de 10
Compromiso
Agrupar: más rendimiento a cambio de algo de latencia
Guardar eventos de analítica fila a fila deja a la base de datos en unas 2000 inserciones por segundo en este ejemplo: casi todo el coste es la sobrecarga de cada sentencia.
Si juntamos eventos durante hasta 50 ms y escribimos 100 filas por sentencia (los cuadrados), el rendimiento sube a 50.000 filas/s. A cambio, cada evento espera hasta 50 ms más.
Qué cambió
- Lotes de 100 filas cada 50 ms
- 2000 → 50.000 filas/s
- Cada evento espera hasta 50 ms
Paso 10 de 10
Resumen
Resumen
La latencia es el tiempo de una petición; el rendimiento, cuántas terminan por segundo.
Cerca del 100 % de uso la latencia se dispara: deja margen.
Mira el p99, no la media: la cola es lo que nota el usuario.
La distancia pone un mínimo que ningún servidor puede quitar.
En curso = rendimiento × latencia; el fan-out convierte lo raro en habitual y los lotes cambian latencia por rendimiento.
← → paso · R repetir · Espacio pausa
Aprenderás
- Distinguir latencia y throughput (visto)
- Por qué la latencia se dispara cerca del 100 % de uso (visto)
- Leer el p50 frente al p99 (visto)
- Por qué la distancia pone un mínimo de latencia (visto)
- Ley de Little, fan-out y lotes (visto)