Diseña un news feed

  • Lección 39 de 40
  • 14 min
  • Intermedio
  • 12 pasos

Un feed parece una consulta sencilla: los posts de quienes sigo, ordenados por fecha. A escala, la pregunta de fondo es otra: ¿haces el trabajo cuando alguien publica o cuando alguien lee?

Carga del feed
60 ms
Consultas por feed
1 lista + unas pocas
Escrituras por post
≈ 70 · solo activos
El post llega en
≈ 2 s
lectores del feedServiciode feedServicio de feedCaché defeedsuna lista por usuarioCaché de feedsColaColaWorkers defan-outWorkers de fan-outgrafo de seguidoresposts · Aposts · Bposts · CLucía publicapor diseñarRequisitospublicartexto y una fotoinicioposts de quien sigoabrir el feedmenos de 200 mspost nuevopuede tardar unos segundosCálculo rápido200 M usuarios × 10≈ 23.000 feeds/s50 M posts al día≈ 600 posts/slecturas por post≈ 40cuentas seguidas200 de mediacifras de ejemplomezcla 200 líneas de tiempo97%97%97%Lo que cuesta el pullfeeds por segundo23.000consultas por feed× 200consultas por segundo4,6 My cada feed espera al shard más lentotrabajo de fan-outmateo → [7310, 7302, 7288 …]hidratar: 20 posts en 1 lote100%atasco: 50 M entregasmi lista + 3 famosospull de famososfamosos: sin fan-outsolo activos en 30 díaslas listas inactivas caducanPaginación con cursorGET /feed?limit=20→ posts 7310 … 7288siguiente: before=7288GET /feed?before=7288&limit=20no se mueve aunque lleguen posts nuevosvacía · calentandoreconstruye al abrir · máx. 500 a la vezDecisionesarmar el feedal escribir (push)40 lecturas por postfamosospull al leer50 M escrituras por postlistasids, con topeuna copia de cada postinactivossin fan-outmemoria sin usoscrollcursoreslo nuevo mueve las páginas
  • petición
  • respuesta
  • evento
  • lote
  • esperando en cola
  • petición lenta
  • fallo de caché

Paso 1 de 12

Concepto

El encargo: la portada de una red social

Otro diseño completo. En esta red social la gente sigue a otras cuentas, y la pantalla de inicio muestra los posts recientes de todas ellas, del más nuevo al más viejo.

Las exigencias: el feed tiene que abrir en menos de 200 ms. Un post nuevo puede tardar unos segundos en aparecer a sus seguidores, y no hace falta que aparezca a todos en el mismo instante. Aquí basta con consistencia eventual: que un post llegue cinco segundos tarde no le hace daño a nadie.

Paso 2 de 12

Concepto

Ponle números

Supón 200 millones de usuarios diarios que abren el feed unas 10 veces cada uno: 2.000 millones de cargas al día, unas 23.000 por segundo de media. Entre todos publican 50 millones de posts al día, unos 600 por segundo. Todas las cifras de esta lección son de ejemplo.

Por cada post escrito hay unas 40 lecturas de feed. Y un usuario típico sigue a 200 cuentas; como cada relación tiene un seguidor y un seguido, la media de seguidores por cuenta también es 200.

Qué cambió

  • 23.000 feeds/s · 600 posts/s
  • 200 cuentas seguidas de media

Paso 3 de 12

Solución

Primer intento: armar el feed cuando lo piden

Guarda los posts en una tabla con índice (author_id, created_at), repartida en shards por autor. Para el feed de Mateo: busca las 200 cuentas que sigue, trae los últimos posts de cada una, ordénalos por fecha y devuelve los 20 primeros.

Es el modelo pull o fan-out en lectura. Publicar cuesta lo mínimo, un solo insert, y el post aparece en el siguiente feed que se abra.

Qué cambió

  • Posts repartidos en shards por autor
  • Feed = 200 consultas, mezclar, quedarse con 20

Paso 4 de 12

Problema

El trabajo cae del lado equivocado

Cada carga del feed consulta a 200 autores repartidos en varios shards y no puede responder hasta que llega la respuesta más lenta: la cola larga del fan-out que viste en Latencia y throughput.

El total pesa todavía más: 23.000 feeds/s × 200 consultas = 4,6 millones de consultas por segundo, casi todas para recalcular lo mismo que esa persona vio hace un minuto. El trabajo caro está en el camino que se recorre 40 veces más.

Qué cambió

  • 23.000 feeds/s × 200 = 4,6 M consultas/s
  • Shards de posts saturados
  • Carga del feed: 600 ms → 1,4 s

Paso 5 de 12

Solución

Dale la vuelta: reparte el post al escribirlo

Cada usuario tiene su feed ya armado: una lista en caché, del post más nuevo al más viejo. Cuando Lucía publica, un worker de fan-out consulta quién la sigue y agrega el post a la lista de cada seguidor. Es el modelo push o fan-out en escritura.

Abrir el feed pasa a ser una lectura de una lista. El fan-out va detrás de una cola (como en Colas de mensajes): Lucía recibe la respuesta enseguida y sus seguidores ven el post uno o dos segundos después.

Qué cambió

  • Caché de feeds: una lista por usuario
  • Cola y workers de fan-out
  • Consulta de seguidores
  • Carga del feed: 200 consultas → 1

Paso 6 de 12

Técnica

Guarda ids, no posts

Cada lista guarda solo ids de post, de 8 bytes cada uno, y solo los ~800 más recientes. Al leer, el servicio pide de una vez los 20 posts de la página, en paralelo a los shards: es la hidratación.

Como cada post existe en un único lugar, editarlo o borrarlo es un solo cambio. Un post borrado simplemente no vuelve al hidratar; nadie tiene que perseguirlo por millones de listas.

Qué cambió

  • Listas con ids de post, máximo 800
  • Posts traídos en un lote al leer
  • Editar o borrar: en un solo lugar

Paso 7 de 12

Problema

Caso: cincuenta millones de seguidores

Una cantante con 50 millones de seguidores publica. Ese único post se vuelve 50 millones de escrituras en la caché. Aun a 100.000 escrituras por segundo, repartirlo tarda 500 s, más de 8 minutos, y mientras tanto los posts de todos los demás esperan detrás en la cola.

Es la clave caliente que viste en Sharding: una sola clave mucho más pesada que el resto desborda un diseño pensado para el caso medio.

Qué cambió

  • Publica una cuenta con 50 M de seguidores
  • 50 M escrituras por un solo post
  • La cola atascada retrasa a todos

Paso 8 de 12

Solución

Híbrido: push para casi todos, pull para los famosos

Trata distinto a cada tipo de cuenta. Las normales siguen con fan-out en escritura. Las que superan un umbral, por ejemplo 100.000 seguidores, no hacen fan-out.

Cuando Mateo abre su feed, el servicio lee su lista ya armada, trae los posts recientes de las pocas cuentas famosas que sigue (cada una es una sola línea de tiempo, muy leída y siempre en caché) y mezcla ambas. Unas pocas consultas extra por lectura en lugar de 50 millones de escrituras por post.

Qué cambió

  • Más de 100.000 seguidores: sin fan-out
  • Sus posts se mezclan al leer
  • El post vuelve a llegar en ≈ 2 s

Paso 9 de 12

Compromiso

Caso: feeds que nadie lee

De los seguidores de Lucía, quizá solo un tercio abrió la app este mes. Hacer fan-out a los demás llena la memoria de listas que nadie va a mirar.

Así que sáltalos: haz fan-out solo a quienes estuvieron activos en los últimos 30 días y deja que las otras listas caduquen. Con 200 seguidores de media, eso deja unas 70 escrituras por post. A cambio, quien vuelve tras semanas espera un poco más la primera vez: su feed se arma una vez con pull, se guarda en caché y el push sigue desde ahí.

Qué cambió

  • Fan-out solo a seguidores activos
  • Las listas inactivas caducan
  • Quien vuelve: feed armado con pull, una vez

Paso 10 de 12

Técnica

Scroll: cursores, no números de página

Mateo baja para ver más. «Página 2» querría decir «sáltate 20 y dame 20», pero desde que cargó la primera llegaron tres posts nuevos arriba: vería tres posts repetidos.

Usa un cursor (como en REST, RPC y GraphQL): «dame 20 posts más viejos que el 7288». La posición queda atada a un post y no a un conteo, así que lo que llega arriba no la mueve.

Qué cambió

  • GET /feed?before=7288&limit=20

Paso 11 de 12

Concepto

Caso: se vacía la caché de feeds

Un despliegue con un error vacía la caché de feeds. Desaparecen todas las listas y, aun así, no se pierde nada importante: los posts y el grafo de seguidores son la fuente de verdad; las listas son datos derivados que se pueden volver a calcular.

El riesgo es la estampida: millones de usuarios reconstruyendo con pull al mismo tiempo. Por eso se reconstruye solo cuando alguien abre la app, con un límite de reconstrucciones a la vez (500 en el ejemplo), y mientras la caché se calienta se sirve un feed más corto.

Qué cambió

  • Caché de feeds vaciada
  • Feeds rearmados al abrir, desde posts y seguidores
  • Reconstrucciones limitadas para proteger los posts

Paso 12 de 12

Resumen

El diseño terminado

Cada decisión sale de una cifra: el feed se arma al escribir porque se lee 40 veces más; los famosos se leen con pull porque 50 millones de escrituras por post no caben; las listas guardan ids para que cada post exista una sola vez; los inactivos no reciben fan-out porque su lista ocuparía memoria sin uso; y el scroll usa cursores porque los posts nuevos desplazan las páginas.

Un feed ordenado por relevancia agrega una etapa (puntuar los candidatos antes de devolverlos), pero la tubería de abajo es la misma.

Aprenderás

  • Estimar las lecturas y escrituras de un feed
  • Fan-out en lectura frente a fan-out en escritura
  • Por qué las cuentas famosas rompen el push y cómo lo arregla un híbrido
  • Qué guardar en cada lista y para quién
  • Cursores y reconstrucción de datos derivados