Observabilidad
- Lección 27 de 40
- 11 min
- Intermedio
- 9 pasos
Un sistema repartido en muchos servicios falla de formas que nadie ve a simple vista. La observabilidad es lo que te deja preguntarle qué le pasa y obtener una respuesta en minutos.
- Tiempo en enterarte
- 2 min
- Tiempo hasta la causa
- 5 min
- Latencia p99
- 430 ms
- Señales
- métricas + logs + trazas
- petición
- respuesta
- petición lenta
- petición fallida
Paso 1 de 9
Problema
«El pago tarda muchísimo». ¿Dónde?
Llegan quejas: pagar el carrito tarda varios segundos. Cada compra pasa por el gateway, el servicio de pedidos, el de inventario, el de pagos, una base de datos y un servicio antifraude externo.
En el diagrama ves una petición atascada en algún punto, pero el equipo no ve nada de eso. La CPU de todos los servidores parece normal y nadie sabe por dónde empezar a buscar.
Paso 2 de 9
Técnica
Métricas: números a lo largo del tiempo
Cada servicio mide unas pocas cifras de las peticiones que atiende, siguiendo el método RED: Rate (peticiones por segundo), Errors (porcentaje que falla) y Duration (percentiles de latencia). Las envía a una base de datos de series temporales y se dibujan en un panel.
Con el panel delante el mapa cambia: inventario y la base de datos responden rápido; la lentitud está en el camino de pagos.
Qué cambió
- Métricas RED en cada servicio
- Panel con el p99 de cada servicio
Paso 3 de 9
Técnica
Alerta por lo que nota el usuario
Despertar a alguien porque la CPU pasó del 80 % genera avisos a todas horas que casi nunca significan nada. Es mejor alertar por síntomas que el usuario sí nota.
Elige un SLI (por ejemplo, el porcentaje de pagos que terminan en menos de 1 s), fija un objetivo o SLO (99,9 % en 30 días) y alerta cuando gastas el presupuesto de error restante demasiado deprisa. Aquí, el 1,5 % de pagos lentos en la última hora es 15 veces el 0,1 % permitido: hay que avisar ya.
Qué cambió
- SLO: 99,9 % de pagos en menos de 1 s
- Alerta por consumo del presupuesto de error
Paso 4 de 9
Técnica
Logs: lo que pasó, línea a línea
Las métricas dicen dónde; los logs cuentan qué pasó. Cada servicio escribe eventos con hora, pero con miles de peticiones por segundo las líneas de unas y otras se mezclan y no se entiende nada.
La solución: el gateway asigna un id de petición, cada servicio lo reenvía en sus llamadas y lo escribe en cada línea. Filtras por ese id y lees la historia completa de una sola compra.
Qué cambió
- Id de petición en cada línea de log
Paso 5 de 9
Solución
Trazas: sigue una petición por todo el sistema
Una traza distribuida registra cada salto de una petición como un span, con su inicio y su duración, todos unidos por el mismo id de traza. Dibujada como cascada, muestra exactamente en qué se va el tiempo.
En esta compra, 2,2 de sus 2,6 segundos (alrededor del 85 %) se pasan esperando al servicio antifraude externo.
Qué cambió
- Id de traza propagado entre servicios
- Causa: antifraude, ~85 % del tiempo
Paso 6 de 9
Solución
Arréglalo y demuestra que funcionó
Con la causa a la vista el arreglo es rápido: llamar al antifraude con un timeout de 300 ms, guardar en caché las puntuaciones recientes y, si no responde a tiempo, aprobar el pago y revisarlo después.
Los mismos paneles confirman el resultado: el p99 baja de 2,6 s a 430 ms y la alerta del SLO se apaga. Incluso cuando la caché falla y se espera el timeout completo, la compra queda por debajo de 1 s.
Qué cambió
- Timeout de 300 ms y caché en antifraude
- p99 del pago: 2,6 s → 430 ms
Paso 7 de 9
Problema
Caso: a las 3 de la mañana suben los errores
Suena la alerta: los pagos con error pasan del 0,1 % al 6 % a las 03:12. El panel señala a inventario, y el registro de despliegues muestra un cambio de configuración en ese servicio a las 03:10: su timeout bajó de 2 s a 20 ms por error.
Lo correcto es mitigar primero: revertir el cambio y recuperar el servicio. La causa de fondo se investiga después, con calma, y no al revés.
Qué cambió
- Cambio de config en inventario a las 03:10
- Pagos con error: 0,1 % → 6 %
- Revertido a las 03:17
Paso 8 de 9
Concepto
Aprende del fallo: el post-mortem
Pasado el incidente, el equipo escribe un post-mortem: la cronología, el impacto, la causa raíz y las acciones para que no se repita.
Es sin culpables: la pregunta es cómo el sistema dejó pasar el error, no quién lo cometió. En este caso, los cambios de configuración pasan a desplegarse por etapas (canary), igual que el código.
Qué cambió
- Post-mortem escrito
- Acción: despliegue canary también para config
Paso 9 de 9
Resumen
Resumen
Las métricas RED (tasa, errores, duración) muestran dónde duele.
Alerta por SLO, lo que nota el usuario, y no por CPU.
Los logs con id de petición cuentan la historia de una petición.
Las trazas siguen una petición por todos los servicios.
En un incidente, primero mitiga; después, un post-mortem sin culpables.
Instrumenta antes de necesitarlo: en plena caída es tarde para añadir logs.
← → paso · R repetir · Espacio pausa
Aprenderás
- Por qué «va lento» es tan difícil de investigar (visto)
- Métricas y paneles con el método RED (visto)
- Alertas sobre SLO, no sobre CPU (visto)
- Logs con id de petición y trazas distribuidas (visto)
- Cómo llevar un incidente y escribir el post-mortem (visto)