Des volumes relus inutilement
Certains workflows rescannaient des volumes déjà parcourus. Les octets relus augmentaient la dépense des charges ciblées sans apporter de valeur supplémentaire aux analyses produites.
Réduire les coûts de traitements BigQuery ciblés
Attribuer la dépense aux traitements BigQuery et limiter les scans sans modifier les résultats analytiques.
Dans une transformation Cloud et Data, le fondateur a rapproché facturation GCP et workflows BigQuery, puis réduit les scans inutiles. Les coûts des traitements optimisés ont baissé de 35 %, sans changement tarifaire inclus dans ce résultat.
Organisation utilisatrice de données · FinOps BigQuery et optimisation des requêtes · Rôle de l’intervenant : Architecte Cloud senior et responsable FinOps
−35 %
de coûts sur les traitements BigQuery optimisés, hors facture Cloud globale
Étude sans nom client issue du parcours du fondateur d’AKITA Consulting, non présentée comme un contrat direct de la société. Les résultats concernent le périmètre décrit et ne garantissent aucun résultat futur.
Réalisations
Le défi
Dans une transformation Cloud et Data, le fondateur pilotait le chantier FinOps BigQuery et son suivi de consommation. Plusieurs traitements analytiques revenaient régulièrement sur les mêmes volumes de données. Les équipes disposaient de factures GCP et de workflows analytiques, mais devaient relier les coûts aux requêtes et aux tables effectivement sollicitées pour choisir un levier d’optimisation.
Optimiser sans rendre les résultats incomplets
Réduire les octets analysés ne devait ni modifier les résultats SQL attendus ni masquer un transfert de dépense vers un autre traitement. Chaque optimisation devait être appréciée sur les charges réellement touchées.
La solution
Comparer facturation et modèles tarifaires
Rapprocher les données de facturation GCP des workflows BigQuery pour attribuer les dépenses aux traitements. Étudier séparément les éditions et tarifs possibles, sans les mêler aux économies effectivement constatées.
Étudier les requêtes et les workflows
Examiner les requêtes SQL, leurs filtres et les volumes scannés par les workflows récurrents. Identifier les lectures redondantes avant de modifier une table ou une requête.
Adapter les structures de données
Adapter partitionnement et clustering aux filtres utilisés par les traitements ciblés, puis ajuster le SQL pour exploiter ces structures. Comparer les résultats analytiques et les volumes lus après modification.
Rendre la consommation observable
Exploiter la facturation GCP dans BigQuery et restituer chaque jour coûts et consommations sous Power BI. Donner aux équipes une vue durable des charges plutôt qu’un constat ponctuel.
Les résultats
Réduction de 35 % sur les traitements optimisés
Les coûts des traitements BigQuery optimisés ont baissé de 35 %. Ce résultat porte sur ces charges ciblées, et non sur toute la dépense BigQuery ou sur la facture GCP globale.
Une visibilité quotidienne, sans second gain comptabilisé
La restitution quotidienne sous Power BI permet de suivre l’évolution des consommations après l’optimisation. L’étude des modèles tarifaires reste une décision distincte et n’est pas additionnée aux 35 % observés.
Les enseignements
Chercher le travail utile plutôt que seulement le prix unitaire
Avant de changer de tarif, identifier les rescans superflus et vérifier que partitionnement, clustering et ajustements SQL préservent les résultats attendus. Un coût unitaire plus faible ne corrige pas un traitement qui relit trop de données.
La visibilité doit durer après l’optimisation
Relier facture et workflows rend l’optimisation vérifiable dans le temps. Le suivi quotidien des charges et coûts permet de repérer le retour de lectures inutiles et de prioriser une nouvelle analyse lorsque les usages changent.
AKITA / CONTACT
BigQuery devient-il difficile à piloter ?
Un audit des requêtes et de la facturation peut identifier les postes réellement optimisables, sans extrapoler un résultat historique.
Échanger sur votre défi