Sommaire

Dans le contexte de la modélisation financière et du contrôle de gestion, la maîtrise du query folding est indispensable pour optimiser les performances des rafraîchissements de données et garantir la rapidité des tableaux de bord.

Lorsqu’un analyste traitant des millions de lignes de ventes ou de factures constate que le rafraîchissement de son modèle prend plusieurs heures, le problème réside souvent dans l’incapacité du moteur à transférer les étapes de transformation vers la source de données.

Ce mécanisme technique, appelé query folding, permet de décharger le travail de traitement du serveur Power BI vers le serveur SQL ou la source native, réduisant ainsi drastiquement le volume de données transféré et le temps de latence.

Pour les directions financières exigeant des rapports actualisés en temps réel, comprendre et implémenter ce concept transforme la qualité du service rendu et la réactivité de l’analyse.

Comprendre le mécanisme du Power Query query folding

Le query folding désigne le processus où Power Query traduit les étapes de transformation en langage natif (comme SQL) et les exécute directement sur la source de données plutôt que dans le moteur local.

Imaginez un contrôleur de gestion qui doit filtrer uniquement les factures de l’année en cours et les joindre à la table clients : avec le folding, cette opération se fait dans le SQL, et Power BI reçoit uniquement le résultat final, pas l’ensemble du corpus brut.

Le degré de folding peut se classer en trois catégories distinctes qui influencent directement la performance du modèle financier :

  • Folding complet : Toutes les étapes de la requête sont déléguées à la source, offrant la performance maximale
  • Folding partiel : Certaines étapes sont transférées, mais d’autres nécessitent un traitement local par le moteur Power BI
  • Aucun folding : Aucune étape ne peut être transférée, ce qui entraîne le chargement de toutes les données brutes avant tout traitement, ralentissant considérablement le rafraîchissement

Dans un environnement de finance d’entreprise où les données sont massives, seuls le folding complet ou partiel permettent de maintenir des temps de réponse acceptables pour les décideurs.

Pourquoi c’est vital pour la modélisation financière

La modélisation financière repose souvent sur l’agrégation de multiples sources (ERP, CRM, relevés bancaires) contenant des historiques riches.

Sans le query folding, chaque calcul de marge, de BFR ou de trésorerie serait effectué sur des millions de lignes dans Power BI, saturant la mémoire et rendant les rapports inutilisables.

En déléguant les filtres et les regroupements à la source, vous réduisez la charge réseau et améliorez la réactivité de l’outil, un enjeu crucial lors des clôtures mensuelles ou annuelles.

Identifier les étapes qui bloquent le folding

La fiabilité du query folding dépend de la nature de chaque étape appliquée dans l’éditeur Power Query : certaines opérations sont nativement compatibles, d’autres rompent le lien de transfert.

Vous pouvez vérifier l’état de folding en explorant le volet « Étapes appliquées » : une icône de clé verte indique que l’étape s’intègre au folding, tandis qu’une icône de clé grise ou un message « Expression de requête » signale une rupture.

Les opérations courantes qui rompent systématiquement le query folding incluent :

  • Colonnes personnalisées : L’utilisation de fonctions M complexes ou de calculs non natifs (ex : ajout de colonne avec logique conditionnelle avancée)
  • Transformations de texte : Les opérations comme « Changer la casse », « Extraire des caractères » ou « Remplacer des valeurs » qui ne sont pas toujours traduisibles en SQL
  • Scripts Python ou R : L’intégration de code externe dans Power Query force le traitement local et désactive le folding
  • Changements de type de données : Certaines conversions de type effectuées après le filtrage peuvent bloquer le mécanisme si la source ne les supporte pas nativement

Il est fréquent que l’ajout d’une simple colonne personnalisée pour calculer un indicateur clé de performance (KPI) brise le folding et multiplie le temps de chargement par dix.

Stratégies pour rétablir le folding

Si le query folding est rompu, la première action consiste à réorganiser l’ordre des étapes dans le volet « Étapes appliquées » pour placer les opérations compatibles au début de la chaîne.

Les filtres, les sélections de colonnes et les jointures doivent toujours être exécutés en premier afin de réduire le volume de données avant d’appliquer des transformations complexes.

Une autre méthode efficace consiste à utiliser une requête SQL native pour encapsuler les transformations non foldables, en utilisant la fonction Value.NativeQuery avec le paramètre [EnableFolding = true].

Cependant, cette approche nécessite de vérifier que toute la logique de transformation est incluse dans la requête SQL, car le moteur Power Query ne peut plus replier les étapes suivantes.

Bonnes pratiques pour une optimisation maximale

Pour garantir un query folding efficace dans vos projets de data financière, privilégiez une approche structurée où chaque étape est validée avant l’ajout suivante.

Commencez toujours par connecter la source de données et à appliquer immédiatement les filtres de date, les tris et les sélections de colonnes pertinentes pour limiter le trafic.

Évitez l’ajout de colonnes personnalisées ou de transformations de texte avant que le volume de données n’ait été drastiquement réduit par les filtres initiaux.

Les meilleures pratiques incluent :

  • Préparation à la source : Créez des vues SQL ou des tables matérialisées dans l’ERP pour pré-filtrer les données avant qu’elles n’arrivent dans Power BI
  • Utilisation de requêtes natives : Pour les sources SQL complexes, utilisez des requêtes natives pour inclure les regroupements et les filtres directement dans le SQL
  • Validation continue : Utilisez l’option « View Native Query » pour vérifier à chaque étape que le folding est maintenu, surtout après des ajouts de logique conditionnelle
  • Déplacement des étapes : Si une étape rompt le folding, déplacez-la après les opérations de filtrage et de sélection de colonnes pour rétablir le transfert

Ces méthodes permettent de s’assurer que votre tableau de bord de suivi de marge ou de budget reste réactif, même avec des volumes de données croissants.

Intégration avec Power BI et Excel

Le query folding est un pilier central de l’architecture technique de Power BI, mais il fonctionne également de manière identique dans Excel via Power Query.

Pour les analystes qui utilisent Excel pour la modélisation avant de consolider les données dans Power BI, la maîtrise du folding permet de maintenir la performance des fichiers Excel lourds.

La connaissance de ces principes est essentielle pour tout professionnel de la data financière souhaitant maîtriser l’optimisation de ses modèles, comme le souligne la documentation officielle de Microsoft sur ce sujet documentation Microsoft Power Query query folding.

Si vous débutez avec cet outil, il est utile de consulter les 5 conseils pour les débutants sur Power Query pour poser les bases d’une requête propre et optimisée.

De plus, comprendre les différences entre les modes de stockage comme DirectQuery et Import est crucial pour appliquer le query folding correctement selon votre architecture Direct Query vs Import Power BI : Que choisir ?

Conclusion

Le query folding est le levier technique qui permet de transformer des processus de chargement de données lents en flux fluides et performants, essentiels pour la finance d’entreprise.

En appliquant rigoureusement les filtres en premier, en évitant les opérations non natives et en validant chaque étape, vous garantissez la réactivité de vos tableaux de bord et la fiabilité de vos analyses.

Appliquez dès maintenant ces bonnes pratiques à vos requêtes existantes pour réduire immédiatement vos temps de rafraîchissement et améliorer l’expérience de vos utilisateurs finaux.

FAQ

Comment savoir si mon étape de Power Query fait du folding ?

Cliquez sur l’étape dans le volet « Étapes appliquées » et sélectionnez « View Native Query » : si l’option est active, le folding est maintenu ; si elle est grisée, il est rompu.

Quelle est l’opération la plus courante qui bloque le folding ?

L’ajout de colonnes personnalisées avec des fonctions M complexes ou des transformations de texte non natives (cas, extraction) rompt systématiquement le folding.