Andy Garcia · dev freelance
FRENES
Volver al blog
Espacio

Gaia DR4 está previsto para el 2 de diciembre con unos 400 TB. La ESA cambió primero las reglas del archivo.

20 de octubre de 2026 7 min de lectura

El miércoles 14 de octubre, el archivo Gaia de la ESA, donde los astrónomos consultan los catálogos de la misión Gaia de la ESA, publicó la versión 3.15 con dos cambios incompatibles. Se renombraron dos estructuras de datos de DataLink: RAW pasó a ser DATAMODEL_GAIA e INDIVIDUAL pasó a ser DATAMODEL_STANDARD. Y, "para apoyar una distribución justa y equitativa de los recursos", ningún usuario puede tener más de cinco trabajos en ejecución a la vez. Cada usuario tiene una cola de 50 trabajos; todo lo que se envíe más allá es rechazado.

El motivo está en el calendario. La cuarta publicación de datos de Gaia, DR4, está prevista para el miércoles 2 de diciembre de 2026, hacia las 12:00 CET. La ESA anunció la fecha el 7 de mayo. El 8 de octubre dio el corte: el archivo debe estar fuera de línea desde el miércoles 25 de noviembre a las 12:00 CET hasta el 2 de diciembre a las 12:00 CET, cuando reabre con DR4. Las fechas de publicación pueden cambiar, y la página de contenido de la ESA sigue describiendo el contenido esperado como "pendiente de ciertas actividades de procesamiento y validación". La ESA da el orden de magnitud: unos 400 TB, frente a 10 TB de DR3.

Lo que los astrónomos encontrarán ahí lo dirán ellos. Mi parte del problema es la otra: soy CTO de una LegalTech construida sobre Claude, y construí BidForge, una IA que lee los expedientes de licitaciones públicas francesas. Mis productos viven de datos que publican otros. Así que leí las notas de versión del archivo en lugar de la cuenta atrás. Se leen como un plan de migración llevado en público durante casi dos años.

Qué midió Gaia, en claro

Gaia escaneó todo el cielo, una y otra vez, desde julio de 2014. Cada vez que una estrella cruzaba sus detectores, registraba su posición y su brillo, y espectros de muchas de ellas. Las observaciones científicas terminaron el 15 de enero de 2025, cuando su propergol de gas frío se agotaba, y la sonda se apagó el 27 de marzo de 2025.

A partir de esas mediciones repetidas, las cadenas de procesamiento ajustan un modelo para cada estrella: dónde está, cómo se desplaza por el cielo y su paralaje, el pequeño vaivén anual causado por la órbita de Gaia alrededor del Sol, que compartía con la Tierra. El paralaje da la distancia, y los ángulos son minúsculos. Se cuentan en milisegundos de arco, y un solo grado contiene 3,6 millones. Una estrella con un paralaje de 1 milisegundo de arco está a unos 1.000 pársecs, aproximadamente 3.260 años luz.

DR4 usa 66 meses de datos, del 25 de julio de 2014 al 20 de enero de 2020, frente a 34 meses de DR3. Cada publicación reemplaza a la anterior en lugar de añadirse a ella. Y con DR4, dice la ESA, toda la serie temporal de Gaia de esos primeros 5,5 años pasa a estar disponible: las mediciones individuales que hay debajo de las respuestas ajustadas, que la ESA llama datos de época. Las publicaciones anteriores solo incluían subconjuntos.

Por qué importa tiene nombre: Gaia BH3. Una estrella con un compañero invisible se bambolea, y un modelo de estrella única la ajusta mal. Durante la preparación de DR3, esta estrella sí produjo dos soluciones candidatas que sugerían un compañero, y ambas se descartaron por baja significación: la órbita dura 11,6 años, mucho más que los 34 meses de DR3. Apareció mientras el equipo validaba soluciones preliminares de binarias para DR4: un agujero negro de 32,70 ± 0,82 masas solares, a unos 590 pársecs. La colaboración dio lo que su artículo llama "el paso excepcional" de publicarlo en 2024, antes de la publicación de datos. Es una de las 12 fuentes cuya astrometría de época publicó la ESA el 29 de junio, para que los usuarios pudieran prepararse. Con las mediciones, cualquiera puede ajustar un modelo que la cadena de procesamiento no eligió.

La aritmética de 400 TB

La página de contenido de DR4 enumera los productos esperados, cada uno con su número de filas y su volumen. La tabla principal, gaia_source, contiene 2.000.033.276 fuentes "consideradas con astrometría y fotometría de alta calidad". Pesa 586 GB, un 0,15 % de la publicación. En total, se publicarán datos de unos 2.800 millones de fuentes procesadas.

El peso está en los datos de época. Cuatro productos: espectros BP/RP de época, 119 TB; imágenes de época, 113 TB; astrometría de época, 62 TB para 129.600 millones de registros; espectros RVS de época, 49 TB. En conjunto unos 343 TB, más de cuatro quintos del total.

Los dos tipos de producto no se sirven igual. Las tablas del catálogo se consultan por TAP con ADQL, un dialecto de SQL. Los grandes productos de época pasan por DataLink y se obtienen por fuente: hasta 5.000 fuentes por consulta para un usuario registrado, 50 para uno anónimo. Una tabla de 586 GB se consulta. 343 TB se obtienen pieza a pieza.

Casi dos años de migración, en público

Las notas de versión muestran cómo llegó el archivo hasta aquí.

  • 10 de diciembre de 2024, versión 3.6: un "BREAKING CHANGE" declaró obsoleta la estructura COMBINED, que empaquetaba un producto para muchas fuentes en un solo archivo. La ESA explicó que servir así los mayores productos de DR4 "sería inviable". Las curvas de luz de DR3 pasaron a una nueva serialización que DR4 reutilizará, para que los usuarios pudieran "prepararse con mucha antelación".
  • 4 de junio de 2025, versión 3.8.1: se activó el back end que sirve los productos DataLink desde archivos Parquet. Una entrada del 12 de junio dice que el archivo "ha vuelto a la versión 3.7". Las notas de diciembre enumeran, entre las correcciones de errores, un "análisis de la sobrecarga del archivo Gaia en OPS tras el despliegue de GACS 3.8". No dicen nada más.
  • 2 de diciembre de 2025, versión 3.10: lo que la página de noticias presentó como una gran mejora de la infraestructura back end. Quince días después, la ESA enumeró los efectos secundarios (una interfaz web que tardaba hasta decenas de segundos, algunas consultas con uniones que agotaban el tiempo, productos DataLink que tardaban hasta varios minutos) y publicó soluciones alternativas: acceso programático, búsquedas por caja en lugar de por cono, el repositorio de descarga masiva.
  • 15 de abril de 2026, versión 3.12: la zona de descarga masiva pasó de almacenamiento por archivos a almacenamiento por objetos, y las consultas que combinan uniones con búsquedas en cono se gestionan mejor. Dos versiones de corrección siguieron en una semana.
  • 14 de octubre de 2026, versión 3.15: el sistema de base de datos migró de Greenplum a EDB WarehousePG, junto con los cambios de nombre y los límites de trabajos.

Fíjate en sobre qué caen los cambios de octubre: DR3, los datos que todo el mundo ya usa. Los usuarios arreglan sus scripts contra un sistema que conocen, siete semanas antes de que lleguen los datos nuevos.

Los identificadores pertenecen a una publicación

Una advertencia de la página de contenido merece una nota adhesiva. La lista de fuentes de DR4 "debe tratarse como independiente" de las publicaciones anteriores: un registro de DR4 con el mismo source_id que una fuente de DR3 no es necesariamente la misma estrella. La publicación incluirá una tabla, dr3_neighbourhood, con 2.400 millones de filas, que enumera ninguna, una o (raramente) varias posibles contrapartes de DR3 para cada fuente de DR4.

La tabla principal también cambia de significado. En DR3, gaia_source llevaba el modelo de estrella única por defecto. En DR4, sus parámetros se consolidan para que "el modelo más adecuado" se aplique a cada fuente, un modelo de estrella binaria donde encaja mejor. Los resultados de las cadenas de procesamiento principales, para todas las fuentes, van en tablas all_source separadas.

Lo que saco de esto

El archivo de una agencia espacial no es un producto SaaS, y lo que sigue son analogías, no afirmaciones sobre la pila técnica de la ESA. Pero cualquiera que lance un producto de datos que está a punto de crecer puede copiar la secuencia:

  1. Publica los cambios incompatibles sobre los datos antiguos, semanas antes de los nuevos. La gente depura mejor sobre lo que ya conoce.
  2. Pon cuotas antes de la avalancha, y di por qué. Si un agente o un script tuyo lanza consultas en paralelo, solo cinco corren a la vez, y más allá de una cola de 50 los trabajos nuevos se rechazan. Gestiona el rechazo.
  3. Separa lo que la gente consulta de lo que obtiene. Una tabla de 586 GB y 343 TB de archivos de época son dos productos con dos vías de acceso.
  4. Publica las mediciones, no solo tu respuesta, cuando tu modelo pueda equivocarse en algunos registros. BH3 estaba en los datos antes de estar en un catálogo.
  5. Vincula los identificadores a una publicación y entrega la tabla de correspondencia, en vez de dejar que los usuarios supongan una clave estable.
  6. Anuncia la ventana con su hora de reapertura, y cuando una mejora degrade el servicio, publica la solución alternativa el mismo mes.

Lo que esto no demuestra

Nada de esto dice que DR4 abrirá a tiempo, ni que el archivo aguantará la carga del primer día. La página de contenido califica el contenido de sus tablas como "en desarrollo". No sé por qué se produjo la vuelta atrás de junio de 2025; las notas no lo dicen. El valor científico de DR4 les toca juzgarlo a los astrónomos, empezando por los artículos de la publicación: más de 80 en preparación, según el boletín n.º 9 de Gaia de la ESA, y una documentación que según el boletín n.º 10 supera ya las 2.500 páginas.

La última observación de DR4 es del 20 de enero de 2020, y el procesamiento empezó ese año. Casi todo lo ocurrido desde entonces es lo que hace utilizables los datos: validación, documentación y, durante casi dos años, preparar las puertas.

Fuentes

¿Un proyecto del mismo estilo?

Diseño y despliego productos como este. Hablemos.

Hablemos