Procesamiento batch y streaming

  • Lección 31 de 40
  • 15 min
  • Intermedio
  • 14 pasos

Contar miles de millones de eventos sin tumbar la base de datos de la app: de noche y en grandes lotes, o de forma continua, según van llegando.

Antigüedad de resultados
5 s
Carga de la BD de producción
30%
Eventos al día
2.000M
Conteos exactos
sí
espectadoresApp devideoApp de videoBD de producciónDashboardDashboardlogsWorker 1Worker 2Worker 3Worker 4warehouseStream deeventosStream de eventosProcesadorProcesadorProcesador2Procesador 2conteos en vivo95%GROUP BY video · cada minuto30%trabajo nocturnoañade eventoslee 1 díaescribe resultados30%mapmapreducereduceContar 2.000 millones de vistasmapcuenta su parteshufflemismo video → mismo workerreducesuma por video100 workers≈ 20 minvalores de ejemplo30%40 % de los datos · 3 h5 min30%map + combinarmap + combinarreduce · parejoreduce · parejoDomar una clave calientevideo viral800M filas → un reducercombinercada mapper envía 1 conteosalting7b1#0 … 7b1#9 → 10 reducerstrabajo3 h → 20 min30%tendencias: las de ayertrabajo nocturno30%tendencias: ahorapublica cada vistaactualiza conteos30%tendencias: ahoraventanas de 1 minVistas de 7b1 por minuto12:019012:0211012:0365012:043.200 · tendenciavalores de ejemplo30%marca de agua: 12:05descarta duplicadosevento de hace 2 hTiempo del evento frente a llegadavista de las 12:04llega a las 14:10marca de aguaadmite 5 min de retraso2 h tardese corrige su ventana despuésid repetidose descartahoras de ejemplo30%100%retraso: 4 min · 17M eventosen vivo: 4 min tarde30%particiones 0–1particiones 2–34 particiones · retraso 2 stendencias: ahora30%únicos ≈ 49,7MHyperLogLog por videoEspectadores únicos de 7b1exactoguardar cada id visto50M ids × 16 B≈ 800 MBHyperLogLog12 KB · error < 1 %fusiónlos sketches se combinanvalores de ejemplo30%nocturno · exactoen vivo · aproximadoBatch frente a streamingbatchstreamingfrescurahorassegundoscomplejidadbajamás altarepetirfácilreproducir el log30%nocturno · exactoen vivo · aproximado
  • petición
  • petición lenta
  • evento
  • lote
  • esperando en cola

Paso 1 de 14

Problema

Analítica sobre la base de datos de producción

Cada reproducción de cada video se guarda como una fila en la base de datos de producción: unas 2.000 millones al día. Un dashboard muestra las vistas por video y las recalcula cada minuto con un GROUP BY enorme. Todas las cifras de esta lección son de ejemplo.

Cada ejecución recorre todo lo que va del día: a media mañana ya son cientos de millones de filas. La base que atiende a la app llega al 95 % de carga, y los espectadores esperan mientras ella cuenta.

Paso 2 de 14

Solución

Batch: guarda ahora, calcula después

La analítica deja de consultar la base de la app. La app anota cada vista como un evento en un almacenamiento de objetos barato: archivos, no filas. Una vez por noche, un trabajo batch lee el día completo, cuenta las vistas en un grupo de workers (en el dibujo, 4) y escribe los resultados en un data warehouse de analítica.

El dashboard lee del warehouse y la base de producción vuelve a atender solo a la app: su carga baja al 30 %. A cambio, los números pueden tener hasta 24 horas.

Qué cambió

  • Registro de eventos en almacenamiento de objetos
  • Trabajo nocturno en un grupo de workers
  • Warehouse para la analítica
  • Carga de la BD: 95 % → 30 %

Paso 3 de 14

Técnica

Divide el trabajo: map, shuffle y reduce

2.000 millones de eventos no pasan rápido por una sola máquina, así que el trabajo se reparte en fases. Map: cada worker lee su parte de los archivos y cuenta las vistas de cada video. Shuffle: los conteos de un mismo video viajan al mismo worker. Reduce: ese worker los suma.

Con el doble de workers, cada uno lee la mitad de los datos y el trabajo tarda más o menos la mitad. En el ejemplo, 100 workers terminan en unos 20 minutos.

Qué cambió

  • Workers 1 y 2: map de su parte
  • Workers 3 y 4: reduce por video

Paso 4 de 14

Problema

Un video viral, un reducer agotado

Ayer un video se hizo viral: se llevó el 40 % de todas las vistas, unos 800 millones de filas. En el shuffle, todas sus vistas van al mismo reducer. Ese worker trabaja 3 horas, mientras los otros 99 terminaron en 5 minutos, y el trabajo no acaba hasta que acaba el más lento.

Repartir por clave solo equilibra la carga si las claves están equilibradas, y los datos reales casi nunca lo están. Los resultados llegan 3 horas tarde: hasta 27 horas de antigüedad.

Qué cambió

  • Un video = 40 % de los datos
  • Un reducer tarda 3 h
  • El trabajo termina 3 h tarde

Paso 5 de 14

Solución

Combina antes, parte las claves calientes

Hay dos arreglos clásicos. Un combiner suma dentro de cada mapper antes del shuffle: en lugar de enviar cada fila «vista de 7b1», cada mapper manda un único conteo parcial. Los 800 millones de filas del video viral se vuelven 100 números.

Cuando una clave sigue pesando demasiado (en un join, por ejemplo, no se puede resumir antes), el salting la divide: 7b1#0 … 7b1#9 van a diez reducers y un paso final suma los diez resultados. El trabajo vuelve a durar unos 20 minutos.

Qué cambió

  • Combiner en cada mapper
  • Clave caliente repartida en 10 reducers
  • Trabajo: 3 h → 20 min

Paso 6 de 14

Problema

Un día de retraso es demasiado

Algunas preguntas no pueden esperar a la noche. Un video que se está volviendo viral debería aparecer ahora en «Tendencias». Una granja de bots que infla vistas falsas tiene que detectarse en minutos, antes de cobrar por ellas.

Correr el batch cada hora ayuda un poco, pero cada ejecución vuelve a leer una montaña de datos y los resultados siguen llegando tarde.

Qué cambió

  • Tendencias con un día de retraso
  • Las vistas falsas se detectan al día siguiente

Paso 7 de 14

Solución

Streaming: calcula mientras llegan los eventos

Ahora la app publica cada vista en un stream de eventos: un registro durable que guarda los eventos en el orden en que llegan. Un procesador de streams los lee en cuanto entran, mantiene conteos acumulados y escribe los resultados en un almacén rápido.

El dashboard va unos segundos por detrás de la realidad, en lugar de un día.

Qué cambió

  • Trabajo batch nocturno
  • Stream de eventos
  • Procesador de streams
  • Almacén de conteos en vivo
  • Antigüedad: 24 h → 5 s

Paso 8 de 14

Técnica

Contar en ventanas de tiempo

Un stream no termina nunca, así que «contar vistas» necesita un marco de tiempo: una ventana. Las ventanas fijas (tumbling) cortan el tiempo en tramos que no se solapan, como las vistas de cada minuto. Las deslizantes (sliding) sí se solapan: vistas de los últimos 10 minutos, actualizadas cada minuto.

Un salto brusco de una ventana a la siguiente es justo el aspecto que tiene una tendencia… o un fraude.

Qué cambió

  • Ventanas fijas de 1 minuto por video

Paso 9 de 14

Problema

Eventos tardíos y duplicados

Un celular ve videos en el metro, sin señal, y sube sus vistas dos horas después. ¿Cuentan para las 12:04, cuando ocurrieron, o para ahora, cuando llegaron? Además, una red inestable hace que algunos celulares envíen el mismo evento dos veces.

Los procesadores de streams cuentan por tiempo del evento (cuándo pasó), usan una marca de agua (watermark) para decidir cuándo una ventana está lo bastante completa para publicarla, fijan qué hacer con los rezagados y descartan duplicados por id de evento.

Qué cambió

  • Eventos con 2 h de retraso
  • Eventos duplicados
  • Marca de agua y descarte por id de evento

Paso 10 de 14

Problema

El procesador se queda atrás

Una transmisión en vivo de una celebridad triplica el tráfico durante una hora: de unos 23.000 a unos 70.000 eventos por segundo. El procesador no da abasto y los eventos sin procesar se acumulan en el stream: el retraso del consumidor (consumer lag) llega a 4 minutos, unos 17 millones de eventos.

No se pierde nada, porque el stream lo guarda todo, pero el dashboard «en vivo» va 4 minutos atrasado, y la detección de fraude también.

Qué cambió

  • Tráfico × 3
  • Procesador al 100 %
  • Retraso: 4 min · 17M eventos

Paso 11 de 14

Solución

Escala con particiones

El stream se divide en particiones según el id del video, así los eventos de cada video siguen en orden. Cada instancia del procesador se queda con algunas particiones, de modo que sumar instancias suma capacidad: dos procesadores, dos particiones cada uno.

El atraso se vacía y el retraso vuelve a unos segundos. Un autoescalador puede sumar procesadores cuando el retraso crece y quitarlos cuando el tráfico baja.

Qué cambió

  • Segundo procesador
  • 4 particiones repartidas 2 + 2
  • Retraso: 4 min → 2 s

Paso 12 de 14

Técnica

Contar espectadores únicos

Contar vistas es fácil. Contar espectadores únicos no: para hacerlo exacto hay que recordar cada id de espectador ya visto. Con 50 millones de ids de 16 bytes son unos 800 MB de estado, por video y por ventana.

Un sketch HyperLogLog estima cuántos ids distintos hay con unos 12 KB y un error típico menor al 1 %. Además, los sketches de distintas máquinas y ventanas se fusionan: el resultado es el mismo que si una sola máquina lo hubiera visto todo.

Qué cambió

  • Espectadores únicos por video
  • Conjunto exacto → sketch HyperLogLog
  • 800 MB → 12 KB por video

Paso 13 de 14

Compromiso

Batch y streaming, juntos

Muchos sistemas usan los dos: el stream da respuestas rápidas y aproximadas, y un batch nocturno recalcula los números exactos a partir del registro completo. Es la arquitectura lambda.

Otros se quedan solo con el stream y, para corregir un error o reconstruir resultados, vuelven a pasar el registro de eventos guardado por una versión nueva del procesador. Es la arquitectura kappa.

Qué cambió

  • Vuelve el batch nocturno, junto al stream

Paso 14 de 14

Resumen

Resumen

Saca la analítica pesada de la base de datos de producción.

Batch: procesa grandes volúmenes ya cerrados de forma barata; los resultados tienen horas.

Streaming: procesa cada evento al llegar; resultados de segundos, con más piezas que cuidar.

Vigila las claves sesgadas (combiner y salting) y el consumer lag (más particiones y procesadores).

Maneja los eventos tardíos y duplicados; muchos sistemas combinan batch y streaming.

Aprenderás

  • Sacar la analítica de la base de datos de producción
  • Procesamiento batch y map/reduce
  • Claves sesgadas: combiners y salting
  • Procesamiento de streams y ventanas
  • Eventos tardíos, retraso del consumidor y particiones
  • Conteos aproximados y cómo combinar batch y streaming