Quatorze mois de tick vert, et une restauration qui échoue à 61 %
Un script de sauvegarde qui se termine sans erreur prouve une seule chose : qu'il a réussi à écrire un fichier. Rien ne dit que ce fichier contient des données exploitables. L'histoire racontée dans l'article de Muhammad Ali Mughal sur DEV Community l'illustre parfaitement, et elle mérite qu'on s'y attarde.
Le scénario : un job parfait en apparence
Chaque nuit, un job lançait mysqldump, compressait la sortie, l'envoyait sur un stockage objet et publiait une notification de succès dans le canal d'exploitation. Pendant quatorze mois, tout est resté au vert. Puis un développeur a exécuté une migration sur la mauvaise connexion et supprimé une table d'un tenant.
La restauration de la dernière sauvegarde a échoué à 61 %. Deux causes se cumulaient :
- le dump avait été pris sans
--single-transactionsur des tables InnoDB alors en cours d'écriture, ce qui produit une image incohérente ; - une vue ajoutée plus tard référençait une table exportée après elle, ce qui casse l'ordre de rechargement.
Toutes les sauvegardes des mois précédents souffraient du même défaut. Le job n'a jamais échoué, car écrire un fichier défectueux reste une écriture réussie.
Pourquoi le statut de succès ne protège de rien
Un code de retour à zéro valide le processus, pas le résultat. Plusieurs défauts passent sous ce radar :
- un dump incohérent parce que les données ont bougé pendant l'export ;
- un schéma qui a évolué (vues, clés étrangères, triggers) sans que la procédure de restauration ne suive ;
- un fichier tronqué ou corrompu pendant le transfert ;
- une version de serveur ou des options incompatibles entre la source et la cible.
Le point commun : on ne les découvre qu'au moment où l'on a besoin des données, c'est-à-dire au pire moment. La seule preuve fiable qu'une sauvegarde fonctionne, c'est de la restaurer.
Mettre en place un exercice de restauration automatisé
L'idée est de transformer la restauration en tâche récurrente, comme la sauvegarde elle-même. Une démarche réaliste tient en quelques étapes.
1. Restaurer dans un environnement jetable
On lance une instance temporaire (conteneur Docker, base éphémère en CI) dans laquelle on recharge la dernière sauvegarde. Elle est détruite à la fin, ce qui évite tout risque pour la production.
# Exemple d'esquisse : restauration MySQL dans un conteneur jetable
docker run -d --name restore-drill -e MYSQL_ROOT_PASSWORD=drill mysql:8
# attendre que le serveur réponde, puis :
gunzip -c dump.sql.gz | docker exec -i restore-drill mysql -uroot -pdrill
2. Vérifier le contenu, pas seulement l'absence d'erreur
Une restauration qui se termine ne suffit pas encore. On contrôle des invariants simples :
- le nombre de tables attendu est présent ;
- les volumes de lignes des tables critiques restent dans une fourchette plausible par rapport à la production ;
- quelques requêtes métier sur des tenants connus renvoient des résultats cohérents ;
- la date de la donnée la plus récente correspond à celle de la sauvegarde.
3. Corriger la source du problème
Pour MySQL avec InnoDB, l'option --single-transaction donne un instantané cohérent sans verrouiller les tables. Côté PostgreSQL, pg_dump s'appuie déjà sur une transaction cohérente, mais l'exercice de restauration reste le seul moyen de valider l'ensemble de la chaîne.
4. Brancher le résultat sur l'alerte
L'exercice doit avoir son propre signal : succès ou échec, durée, taille du jeu restauré. Un échec ou une durée anormale déclenche une alerte, exactement comme une sauvegarde manquante. Mesurer le temps de restauration a un bénéfice supplémentaire : on connaît enfin le délai réel de remise en service, au lieu de l'estimer.
Fréquence et périmètre
Un exercice hebdomadaire sur la dernière sauvegarde est un bon point de départ. On peut y ajouter, plus rarement, une restauration depuis une sauvegarde plus ancienne pour vérifier que la rétention fonctionne vraiment. Pour des architectures multi-tenant, restaurer un seul tenant à partir d'un dump complet est aussi un scénario à répéter, car c'est précisément le cas de l'incident décrit.
Conclusion
Une sauvegarde n'a de valeur que si elle se restaure, et seul un test régulier et automatisé le démontre. Le coût est modeste : un script, une base jetable et quelques vérifications. Le gain est de remplacer une confiance aveugle dans un indicateur vert par une preuve récente. Si vous ne savez pas quand votre dernière sauvegarde a été restaurée avec succès, c'est le premier chantier à ouvrir.
Ce que ça change pour vous
Une copie de vos données qui n'a jamais été rouverte n'est qu'une hypothèse, pas une garantie. Le jour d'une erreur ou d'une panne, vous découvrez si elle fonctionne, et il est alors trop tard pour corriger. Demandez à votre équipe technique ou à votre prestataire de réaliser un test complet de restauration dès ce mois-ci, puis de le refaire régulièrement. Exigez un compte rendu qui indique le temps qu'il a fallu pour tout remettre en route.
Et votre site, il vaut quoi ?
Vitesse, accessibilité, référencement technique. Le rapport est écrit pour un dirigeant, pas pour un développeur. Gratuit, sans inscription.