Archivos y multimedia

  • Lección 19 de 40
  • 14 min
  • Intermedio
  • 13 pasos

Las fotos y los videos no caben bien en tu base de datos. Aprende dónde guardarlos y cómo hacerlos subir y bajar sin que tus servidores carguen con ellos.

La base crece (GB/día)
1
Subidas vía la app
0%
Carga de una foto
35 ms
Almacén mes 12 (USD/mes)
5.240
personas que comparten fotosServidoresde la appServidoresmetadatosAlmacénde objetosAlmacénWorkersWorkersCDNCDNLimpiezacada nocheLimpiezacualquierafotos guardadas como BLOB95%85%+2 TB al díaclave · dueño · tamaño · tipofotos/9f2c.jpg90%reenvía videos de 2 GB20%¿puedo subir?pendiente → subidolos bytessubida completaUna URL prefirmadaPUT…/videos/7a1e.mp4caduca en900 s (15 min)sirve para1 clave · 1 subidafirmahecha con la clave de la applos bytes no pasan por la app20%partes 1–200 → 1 objetoSubida multiparteiniciarid + 200 URLpartes 1…20010 MB, de 4 en 4falla la 37se reenvía la 37completarvideos/7a1e.mp4200 × 10 MB = 2 GB20%estado: listotamaños · sin GPS · videotrabajos9f2c_w640.webp · 1 añosolo si faltasegmentos de 4 sUn video, cinco calidades1080p5 Mbit/s720p3 Mbit/s480p1,5 Mbit/s← red de 2 Mbit/s360p0,8 Mbit/s240p0,4 Mbit/stasas de ejemplo312 pendientes > 1 díaborrar huérfanosoriginales > 90 días → archivoClases por TB al mesestándar≈ 23 USDleer es baratopoco acceso≈ 12,5 USDpagas cada lecturaarchivo≈ 2 USDleer es lento o caromes 12: 180 + 550 TB≈ 5240 USDprecios de ejemplo; solo originalesacceso público bloqueadoGET /?list
  • petición
  • respuesta
  • petición lenta
  • esperando en cola
  • fallo de caché

Paso 1 de 13

Concepto

Las fotos, dentro de la base de datos

Vuelve a la app de fotos de «Cálculos de servilleta». La primera versión guarda cada foto como un BLOB, una columna binaria, en la misma fila que su autor, su pie de foto y su fecha. Todo está en un solo sitio y una sola copia de seguridad lo cubre todo.

Con mil subidas al día de 2 MB, la base de datos crece unos 2 GB diarios. Mientras la app es pequeña, nadie nota nada.

Paso 2 de 13

Problema

Dos terabytes cada día

La app despega: un millón de fotos al día de 2 MB cada una son 2 TB diarios, unos 730 TB en un año. Cada réplica y cada copia de seguridad crecen igual; restaurar tarda días y una réplica nueva tiene que copiarlo todo.

Además, cada foto que alguien abre atraviesa los servidores y la base de datos. Las imágenes ocupan la memoria que necesitaban las filas pequeñas, y hasta cargar los comentarios se vuelve lento. En el ejemplo, una foto pasa de 180 a 450 ms.

Qué cambió

  • 1M de subidas al día × 2 MB = 2 TB
  • Réplicas y copias de seguridad enormes
  • Las fotos desplazan al resto de consultas

Paso 3 de 13

Solución

Los bytes a un almacén de objetos, los datos a la base

Saca los bytes a un almacenamiento de objetos: un almacén enorme de clave → archivo. Guardas un archivo con PUT fotos/9f2c.jpg y lo recuperas con GET. No hay consultas ni joins, y el tamaño total no es un problema práctico.

El servicio replica cada objeto en varios centros de datos y el terabyte sale mucho más barato que en los discos de una base de datos. En la base queda una fila de ~1 KB por foto con su clave, su dueño, su tamaño y su tipo: 1M de filas × 1 KB = 1 GB al día.

Qué cambió

  • Almacenamiento de objetos para los bytes
  • Una fila de ~1 KB por foto
  • La base crece 2000 → 1 GB al día

Paso 4 de 13

Problema

Caso: un video de 2 GB desde un celular

Los archivos ya viven fuera de la base, pero siguen pasando por tus servidores de camino al almacén. Ahora la app acepta videos: subir 2 GB desde un celular tarda minutos, y todo ese rato un servidor mantiene una conexión y memoria ocupadas solo para reenviar bytes.

Acabas dimensionando los servidores por el ancho de banda y no por la lógica que ejecutan. Una ola de subidas de video frena las páginas de todos los demás.

Qué cambió

  • Subidas de video de hasta 2 GB
  • Cada subida ocupa un servidor durante minutos

Paso 5 de 13

Solución

Sube directo al almacén

La app deja de cargar los bytes y se limita a dar permiso. El celular pregunta «¿puedo subir un video de 2 GB?»; la app comprueba quién es, crea una fila en estado pendiente y responde con una URL prefirmada: un enlace firmado con la clave de la app que permite una sola subida, a una sola clave, durante los próximos 15 minutos.

El celular envía los bytes directamente al almacenamiento de objetos. Al terminar, el almacén avisa con un evento y la app marca la fila como subido.

Qué cambió

  • La app firma una URL de subida
  • El celular sube directo al almacén
  • El almacén avisa de la subida completa

Paso 6 de 13

Técnica

Archivos grandes: súbelos por partes

Una sola petición de 2 GB por una red móvil casi nunca llega entera. Una subida multiparte divide el archivo en partes (en el ejemplo, 200 de 10 MB) que viajan en paralelo, cada una con su propia URL prefirmada.

Si una parte falla, se reenvía solo esa; si se corta la conexión, se sigue desde la última parte que llegó. Cuando están todas, una llamada final las une en un único objeto.

Qué cambió

  • 2 GB → 200 partes de 10 MB
  • Cada parte fallida se reintenta sola
  • La subida sigue tras un corte

Paso 7 de 13

Técnica

Genera las versiones que la gente descarga

Casi nunca se muestra el original. Cada aviso de «subida completa» va a una cola (lo verás en «Colas de mensajes») y unos workers preparan lo que la app necesita: miniaturas y dos o tres tamaños de cada foto, un análisis antivirus y, antes de compartir nada, quitar la ubicación GPS que viaja escondida en los metadatos de la foto.

Los videos se transcodifican a varias resoluciones. Cuando un worker termina, guarda los archivos nuevos y la fila pasa a listo; hasta entonces, la app muestra «procesando…». Con versiones más pequeñas, una foto carga en 120 ms en el ejemplo.

Qué cambió

  • Avisos de subida → cola → workers
  • Miniaturas, tamaños y transcodificación
  • Sin datos de ubicación y con antivirus

Paso 8 de 13

Solución

Sirve los archivos desde el borde

Se ven muchas más fotos de las que se suben, así que las descargas tampoco deben pasar por la app. Una CDN (lo viste en «CDN y entrega de contenido») usa el almacén de objetos como origen: el primero que pide una foto en una ciudad la trae al borde más cercano, y los demás la reciben desde ahí.

Pon a cada versión una clave que cambie cuando cambia su contenido, como fotos/9f2c_w640.webp, y podrás cachearla un año sin que nunca quede vieja. En el ejemplo, la foto pasa de 120 a 35 ms.

Qué cambió

  • CDN delante del almacenamiento de objetos
  • Las vistas salen del borde más cercano
  • Carga de una foto: 120 → 35 ms

Paso 9 de 13

Técnica

Video: que el reproductor elija

Un video pesa demasiado para descargarlo entero antes de verlo, y la conexión cambia de un segundo a otro. Por eso se corta en segmentos de unos segundos (4 en el ejemplo), cada uno codificado en varias calidades de 240p a 1080p, con un pequeño archivo de lista que los enumera.

El reproductor pide segmento a segmento a la CDN y elige la calidad del siguiente según lo rápido que llegó el anterior. Con una red de 2 Mbit/s toma 480p; si entras en un túnel, baja a 360p en lugar de congelarse. Esto se llama streaming de tasa adaptativa (HLS o DASH).

Qué cambió

  • Cada video: segmentos de 4 s × 5 calidades
  • Calidad elegida segmento a segmento

Paso 10 de 13

Problema

Caso: filas sin archivo y archivos sin fila

Dos almacenes pueden no coincidir. Un celular recibe su URL y se queda sin señal: la fila queda pendiente para siempre. Alguien borra una foto: se va la fila, pero los archivos siguen ahí, cuestan dinero y cualquiera que guardó el enlace aún puede abrirlos.

Trátalo como cualquier cambio en dos sistemas (lo verás en «Sagas»): cada fila tiene un estado; los eventos del almacén lo hacen avanzar; al borrar, primero se quita la fila y luego se encolan los borrados de archivos; y una limpieza nocturna elimina las filas pendientes de más de un día y los archivos que ninguna fila referencia.

Qué cambió

  • Estado en cada fila: pendiente → subido → listo
  • Borrado: la fila primero, los archivos en cola
  • Limpieza nocturna de huérfanos

Paso 11 de 13

Compromiso

Los archivos viejos pueden vivir en algo más barato

Casi todas las fotos se miran en sus primeras semanas y después casi nunca. Los almacenes de objetos ofrecen clases de almacenamiento: estándar para lo que se lee a menudo, una de acceso poco frecuente y clases de archivo que cuestan una fracción, pero cobran más por leer o tardan de minutos a horas en devolver el archivo.

Una regla de ciclo de vida mueve objetos sola: los originales de más de 90 días pasan a archivo y los tamaños que la gente sigue viendo se quedan en estándar. Con precios de ejemplo y contando solo originales, al mes 12 hay 730 TB: todo en estándar cuesta 730 × 23 ≈ 16.790 USD al mes; con 180 TB recientes en estándar y 550 TB en archivo, 4140 + 1100 = 5240 USD.

Qué cambió

  • Ciclo de vida: originales a archivo a los 90 días
  • Almacenamiento al mes 12: 16.790 → 5240 USD/mes

Paso 12 de 13

Problema

Caso: el bucket que cualquiera puede listar

Alguien del equipo hace público el bucket «para que se vean las imágenes». Meses después, un desconocido descubre que puede listarlo y descargar cada foto subida, incluidas las privadas y los originales con su ubicación. Las filtraciones así están entre las más comunes en la nube.

Deja los buckets privados y bloquea el acceso público para toda la cuenta. Sirve los archivos por la CDN con URL firmadas, da a cada servicio una clave que solo llegue a sus propias rutas y usa nombres imposibles de adivinar como última defensa, nunca como la única.

Qué cambió

  • Bucket que cualquiera puede listar
  • Acceso público bloqueado y CDN con URL firmadas
  • Una clave con lo mínimo por servicio

Paso 13 de 13

Resumen

Resumen

Los bytes van al almacenamiento de objetos y los metadatos a la base de datos; la clave del objeto los une.

Los clientes suben directo con URL prefirmadas, y los archivos grandes van por partes que se pueden reintentar y reanudar.

Los workers generan miniaturas, tamaños y transcodificaciones, y quitan lo que no se debe compartir.

Sirve los archivos por una CDN con claves versionadas y el video en segmentos adaptativos.

Mantén filas y archivos de acuerdo, mueve lo viejo a clases baratas y deja los buckets privados.

Aprenderás

  • Los bytes en almacenamiento de objetos y los metadatos en la base de datos
  • Subidas directas con URL prefirmadas y archivos grandes por partes
  • Procesado, entrega por CDN y video adaptativo
  • Cómo mantener metadatos y archivos de acuerdo
  • Clases de almacenamiento, ciclo de vida y buckets privados