Rate limiting

  • Lección 25 de 40
  • 10 min
  • Intermedio
  • 9 pasos

Un solo cliente descontrolado puede dejar sin servicio a todos los demás. Verás cómo repartir la capacidad con límites por cliente y qué hacer cuando ni así alcanza.

Script con bug
10 pet/s
Usuarios atendidos
100%
CPU de la API
40%
Rechazadas en la puerta
0 pet/s
usuariosscript con bugGatewaylimitadorGatewayGatewaylimitadorGatewaycontadoresAPIAPI98%casi solo atiende a un cliente4.000 pet/s40%límite: 10 pet/s por cliente429 Too Many Requests4.000 pet/s40%10 fichas, +10 por segundousuario: 8 de 10 fichasscript: 0 fichas40%límite: 10 pet/s por cliente429 Too Many RequestsLímite de ejemplo: 60 por minutoventana fijavuelve a cero cada minuto0:59 y 1:0060 + 60 = 120 en 2 sventana deslizantemira los últimos 60 stoken bucketráfaga de hasta 60, luego 1/sráfagas sí, media limitada40%INCRlímite: 10 pet/s por cliente429 Too Many Requests40%INCRRetry-After: 30ahora a 10 pet/sdentro del límite78%INCRinquilino A: máx. 1.500 pet/ssobre la cuota → 429dentro del límite90%INCRdescartando trabajo de fondosegundo plano: fuera primerodentro del límite40%INCRlímite: 10 pet/s por clientedentro del límite
  • petición
  • petición lenta
  • esperando en cola
  • petición fallida

Paso 1 de 9

Problema

Un script con prisa y todos esperando

Un cliente despliega un script con un bug: llama a tu API dentro de un bucle sin pausa, 4.000 peticiones por segundo. Casi toda la CPU de la API se va en atenderlo.

Las peticiones de los usuarios reales hacen cola detrás de esa avalancha y muchas terminan en timeout. Nadie te está atacando: un solo cliente se lleva la capacidad que era de todos.

Paso 2 de 9

Solución

Un portero en la entrada

Pon un rate limiter en un gateway delante de la API. Cada cliente se identifica (por API key, id de usuario o IP) y recibe un presupuesto: en este ejemplo, 10 peticiones por segundo.

Lo que cabe en el presupuesto pasa; el resto se rechaza en el acto con 429 Too Many Requests, sin tocar la API. El script pierde 3.990 de sus 4.000 peticiones por segundo.

Qué cambió

  • Gateway con rate limiter
  • Script limitado a 10 pet/s
  • CPU de la API: 98 % → 40 %
  • Usuarios atendidos: 58 % → 100 %

Paso 3 de 9

Técnica

Cómo cuenta: el token bucket

El algoritmo más usado es el token bucket (cubeta de fichas). Cada cliente tiene una cubeta de hasta 10 fichas que se rellena a 10 por segundo. Cada petición gasta una ficha; con la cubeta vacía, la respuesta es 429.

Un usuario normal casi nunca la vacía: ahora le quedan 8 de 10. El script la deja a cero en cuanto recibe fichas nuevas, así que casi todo lo que envía se rechaza.

Qué cambió

  • Una cubeta por cliente

Paso 4 de 9

Técnica

Ventanas frente a cubetas

La ventana fija cuenta peticiones por minuto de reloj y vuelve a cero en cada minuto exacto. Es sencilla, pero tiene un borde: con un límite de 60 por minuto, un cliente puede mandar 60 a las 0:59 y otras 60 a la 1:00, 120 en unos 2 segundos.

La ventana deslizante mira siempre los últimos 60 segundos y elimina ese borde. El token bucket admite ráfagas controladas. Por eso los gateways suelen ofrecer uno de estos dos.

Paso 5 de 9

Problema

Dos gateways, un solo presupuesto

Un gateway ya no da abasto y pones dos detrás de un balanceador. Si cada uno cuenta por su lado, un cliente que reparte sus peticiones entre ambos consigue el doble de su límite; con 10 gateways, diez veces.

La salida es guardar los contadores en un almacén compartido y rápido, como Redis: cada petición hace un incremento atómico (INCR) y compara el total con el límite.

Qué cambió

  • Segundo gateway
  • Almacén de contadores compartido
  • Los contadores de cada cliente viven en el almacén

Paso 6 de 9

Técnica

Dile al cliente cuándo volver

Un buen 429 no solo dice que no: indica cuándo volver con la cabecera Retry-After: 30 (en segundos) y suele informar del límite y de lo que queda con cabeceras como X-RateLimit-Remaining, muy extendidas aunque no son estándar.

Un cliente bien hecho espera ese tiempo antes de reintentar. El dueño del script arregla su bucle y ahora usa 10 pet/s, su parte justa, sin un solo rechazo.

Qué cambió

  • Cabeceras Retry-After y de límite
  • El script baja a 10 pet/s
  • Rechazadas: 3.990/s → 0

Paso 7 de 9

Problema

Caso: una empresa con 8.000 usuarios

Vendes tu API a empresas. Una lanza cada noche una importación con 8.000 usuarios; ninguno pasa de su límite personal, pero juntos suman 2.400 pet/s, el 60 % de una capacidad de 4.000 (valores de ejemplo). Cada noche, el resto de clientes va lento.

Un límite por usuario no ve el problema. Añade una cuota por inquilino (la cuenta de la empresa) según su plan, encima del límite por usuario: con una cuota de 1.500 pet/s, las 900 que sobran reciben 429.

Qué cambió

  • Cuota por inquilino según su plan
  • La importación queda en 1.500 pet/s

Paso 8 de 9

Técnica

Cuando todos llegan a la vez: descartar carga

Los límites evitan que un cliente acapare. Pero el día de un lanzamiento llegan todos a la vez, cada uno dentro de su límite, y el total supera lo que puedes servir: 6.000 pet/s para una capacidad de 4.000 (valores de ejemplo).

Ahí entra el load shedding: el gateway descarta primero el trabajo de segundo plano (precargas, recomendaciones, analítica), 2.400 pet/s. Quedan 3.600, el 90 % de la capacidad, y los logins y pagos siguen funcionando.

Qué cambió

  • Pico de usuarios reales
  • El gateway descarta lo de baja prioridad
  • Logins y pagos: 100 % atendidos

Paso 9 de 9

Resumen

Resumen

Da a cada cliente un presupuesto y rechaza el exceso pronto, con 429.

El token bucket tolera ráfagas cortas y limita la media; la ventana deslizante evita el borde de la fija.

Con varios gateways, guarda los contadores en un almacén compartido.

Apila límites por usuario, por inquilino y por endpoint, y usa Retry-After para decir cuándo volver.

Si todo el sistema se satura, descarta primero el trabajo de baja prioridad.

Aprenderás

  • Por qué un solo cliente puede dejar sin servicio a los demás
  • Cómo cuentan el token bucket y las ventanas
  • Cómo compartir el límite entre varios gateways
  • Respuestas 429, reintentos y cuotas por inquilino
  • Descartar carga cuando todos llegan a la vez