Andy Garcia · dev freelance
FRENES
Retour au blog
Espace

Gaia DR4 est prévu le 2 décembre à environ 400 To. L'ESA a d'abord changé les règles de l'archive.

20 octobre 2026 7 min de lecture

Le mercredi 14 octobre, l'archive Gaia de l'ESA, où les astronomes interrogent les catalogues de la mission Gaia de l'ESA, a livré sa version 3.15 avec deux changements incompatibles. Deux structures de données DataLink ont été renommées : RAW est devenu DATAMODEL_GAIA, INDIVIDUAL est devenu DATAMODEL_STANDARD. Et, « pour soutenir une distribution juste et équitable des ressources », aucun utilisateur ne peut avoir plus de cinq jobs en cours à la fois. Chaque utilisateur dispose d'une file de 50 jobs ; tout ce qui est soumis au-delà est rejeté.

La raison est au calendrier. La quatrième publication de données de Gaia, DR4, est prévue le mercredi 2 décembre 2026, vers 12 h CET. L'ESA a annoncé la date le 7 mai. Le 8 octobre, elle a donné la bascule : l'archive doit être hors ligne du mercredi 25 novembre à 12 h CET jusqu'au 2 décembre à 12 h CET, puis rouvrir avec DR4. Les dates de publication peuvent bouger, et la page de contenu de l'ESA décrit encore le contenu attendu comme « en attente de certaines activités de traitement et de validation ». L'ESA donne l'ordre de grandeur : environ 400 To, contre 10 To pour DR3.

Ce que les astronomes y trouveront, c'est à eux de le dire. Mon côté du problème est l'autre : je suis CTO d'une LegalTech construite sur Claude, et j'ai construit BidForge, une IA qui lit les dossiers de marchés publics français. Mes produits vivent de données que d'autres publient. J'ai donc lu les notes de version de l'archive plutôt que le compte à rebours. Elles se lisent comme un plan de migration mené en public sur près de deux ans.

Ce que Gaia a mesuré, en clair

Gaia a balayé tout le ciel, encore et encore, à partir de juillet 2014. À chaque passage d'une étoile devant ses détecteurs, il a enregistré sa position et sa luminosité, et des spectres pour beaucoup d'entre elles. Les observations scientifiques se sont terminées le 15 janvier 2025, quand son propergol à gaz froid s'épuisait, et la sonde a été éteinte le 27 mars 2025.

À partir de ces mesures répétées, des chaînes de traitement ajustent un modèle pour chaque étoile : où elle est, comment elle dérive dans le ciel, et sa parallaxe, le petit va-et-vient annuel causé par l'orbite de Gaia autour du Soleil, qu'il partageait avec la Terre. La parallaxe donne la distance, et les angles sont minuscules. On les compte en millisecondes d'arc, et un seul degré en contient 3,6 millions. Une étoile dont la parallaxe est de 1 milliseconde d'arc est à environ 1 000 parsecs, soit à peu près 3 260 années-lumière.

DR4 utilise 66 mois de données, du 25 juillet 2014 au 20 janvier 2020, contre 34 mois pour DR3. Chaque publication remplace la précédente au lieu de s'y ajouter. Et avec DR4, dit l'ESA, toute la série temporelle de Gaia sur ces 5,5 premières années devient disponible : les mesures individuelles sous les réponses ajustées, que l'ESA appelle données d'époque. Les publications précédentes n'en contenaient que des sous-ensembles.

Pourquoi c'est important a un nom : Gaia BH3. Une étoile qui a un compagnon invisible oscille, et un modèle d'étoile unique l'ajuste mal. Pendant la préparation de DR3, cette étoile avait bien produit deux solutions candidates suggérant un compagnon, et les deux avaient été écartées pour faible significativité : l'orbite dure 11,6 ans, bien plus que les 34 mois de DR3. Elle est apparue pendant que l'équipe validait des solutions préliminaires de binaires pour DR4 : un trou noir de 32,70 ± 0,82 masses solaires, à environ 590 parsecs. La collaboration a fait ce que son article appelle « le pas exceptionnel » de la publier en 2024, avant la publication des données. C'est l'une des 12 sources dont l'ESA a publié l'astrométrie d'époque le 29 juin, pour que les utilisateurs puissent se préparer. Avec les mesures, n'importe qui peut ajuster un modèle que la chaîne de traitement n'a pas choisi.

L'arithmétique des 400 To

La page de contenu de DR4 liste les produits attendus, chacun avec son nombre de lignes et son volume. La table principale, gaia_source, contient 2 000 033 276 sources « considérées comme ayant à la fois une astrométrie et une photométrie de haute qualité ». Elle pèse 586 Go, soit environ 0,15 % de la publication. Au total, des données seront publiées pour environ 2,8 milliards de sources traitées.

Le poids est dans les données d'époque. Quatre produits : les spectres BP/RP d'époque, 119 To ; les images d'époque, 113 To ; l'astrométrie d'époque, 62 To pour 129,6 milliards d'enregistrements ; les spectres RVS d'époque, 49 To. Ensemble environ 343 To, plus des quatre cinquièmes du total.

Les deux types de produit ne sont pas servis de la même façon. Les tables du catalogue s'interrogent par TAP avec ADQL, un dialecte SQL. Les gros produits d'époque passent par DataLink et se récupèrent par source : jusqu'à 5 000 sources par requête pour un utilisateur enregistré, 50 pour un anonyme. Une table de 586 Go, on l'interroge. 343 To, on les récupère morceau par morceau.

Près de deux ans de migration, en public

Les notes de version montrent comment l'archive en est arrivée là.

  • 10 décembre 2024, version 3.6 : un « BREAKING CHANGE » a rendu obsolète la structure COMBINED, qui regroupait un produit pour de nombreuses sources dans un seul fichier. L'ESA a expliqué que servir les plus gros produits de DR4 ainsi serait « irréalisable ». Les courbes de lumière de DR3 sont passées à une nouvelle sérialisation que DR4 réutilisera, pour que les utilisateurs puissent « se préparer bien à l'avance ».
  • 4 juin 2025, version 3.8.1 : le back end servant les produits DataLink depuis des fichiers Parquet a été activé. Une entrée datée du 12 juin indique que l'archive « a été ramenée à la version 3.7 ». Les notes de décembre listent, parmi les corrections de bugs, une « analyse de la surcharge de l'archive Gaia en OPS après le déploiement de GACS 3.8 ». Elles n'en disent pas plus.
  • 2 décembre 2025, version 3.10 : ce que la page d'actualités a présenté comme une mise à niveau majeure de l'infrastructure back end. Quinze jours plus tard, l'ESA a listé les effets secondaires (une interface web pouvant prendre des dizaines de secondes, certaines requêtes avec jointures qui expirent, des produits DataLink pouvant prendre plusieurs minutes) et publié des contournements : accès programmatique, recherches par boîte plutôt que par cône, dépôt de téléchargement en masse.
  • 15 avril 2026, version 3.12 : la zone de téléchargement en masse est passée d'un stockage par fichiers à un stockage par objets, et les requêtes combinant jointures et recherches en cône sont mieux gérées. Deux versions correctives ont suivi en une semaine.
  • 14 octobre 2026, version 3.15 : le système de base de données a migré de Greenplum vers EDB WarehousePG, en même temps que les renommages et les plafonds de jobs.

Regarde sur quoi tombent les changements d'octobre : DR3, les données que tout le monde utilise déjà. Les utilisateurs corrigent leurs scripts sur un système qu'ils connaissent, sept semaines avant l'arrivée des nouvelles données.

Les identifiants appartiennent à une publication

Un avertissement de la page de contenu mérite un pense-bête. La liste de sources de DR4 « doit être traitée comme indépendante » des publications précédentes : un enregistrement DR4 qui porte le même source_id qu'une source DR3 n'est pas forcément la même étoile. La publication doit inclure une table, dr3_neighbourhood, de 2,4 milliards de lignes, qui liste aucune, une ou (rarement) plusieurs contreparties DR3 possibles pour chaque source DR4.

La table principale change aussi de sens. Dans DR3, gaia_source portait le modèle d'étoile unique par défaut. Dans DR4, ses paramètres sont consolidés pour que « le modèle le mieux adapté » s'applique à chaque source, un modèle d'étoile binaire là où il convient mieux. Les résultats des chaînes de traitement principales, pour toutes les sources, sont dans des tables all_source séparées.

Ce que j'en retiens

L'archive d'une agence spatiale n'est pas un produit SaaS, et ce qui suit sont des analogies, pas des affirmations sur la pile technique de l'ESA. Mais quiconque livre un produit de données sur le point de grossir peut copier la séquence :

  1. Livre les changements incompatibles sur les anciennes données, des semaines avant les nouvelles. On débogue mieux sur ce qu'on connaît déjà.
  2. Mets des quotas avant la ruée, et dis pourquoi. Si un agent ou un script à toi lance des requêtes en parallèle, seules cinq tournent à la fois, et au-delà d'une file de 50 les nouveaux jobs sont rejetés. Gère le rejet.
  3. Sépare ce que les gens interrogent de ce qu'ils récupèrent. Une table de 586 Go et 343 To de fichiers d'époque sont deux produits avec deux chemins d'accès.
  4. Publie les mesures, pas seulement ta réponse, quand ton modèle peut se tromper pour certains enregistrements. BH3 était dans les données avant d'être dans un catalogue.
  5. Rattache les identifiants à une publication et livre la table de correspondance, au lieu de laisser les utilisateurs supposer une clé stable.
  6. Annonce la fenêtre avec son heure de réouverture, et quand une mise à niveau dégrade le service, publie le contournement le même mois.

Ce que cela ne montre pas

Rien ici ne dit que DR4 ouvrira à l'heure, ni que l'archive tiendra la charge du premier jour. La page de contenu qualifie le contenu de ses tables de « en cours de développement ». Je ne sais pas pourquoi le retour en arrière de juin 2025 a eu lieu ; les notes ne le disent pas. La valeur scientifique de DR4 est aux astronomes de la juger, à commencer par les articles de publication : plus de 80 en préparation, selon le bulletin Gaia n° 9 de l'ESA, et une documentation que le bulletin n° 10 dit dépasser désormais 2 500 pages.

La dernière observation de DR4 date du 20 janvier 2020, et le traitement a commencé cette année-là. La plupart de ce qui s'est passé depuis est ce qui rend les données utilisables : la validation, la documentation et, pendant près de deux ans, la préparation des portes.

Sources

Un projet du même genre ?

Je conçois et déploie des produits comme celui-ci. Parlons-en.

Discutons