Photo de Austin Hervias sur Unsplash
Réalisation d’ingénierie
Architecture de pipelines de données financières
Concevoir les traitements et l’infrastructure qui transforment des données financières en modèles exploitables pour l’analyse.
Le projet
Travaux d’architecture de pipelines sur Google Cloud pour un fournisseur international d’indices et de données financières. Le périmètre associe l’orchestration des traitements, les transformations de données et la définition des ressources cloud.
Approche technique
Les modèles SQL définissent les données produites ; les workflows organisent l’exécution des traitements et leurs dépendances. Terraform décrit les ressources qui accueillent ces traitements. L’architecture de référence associée illustre cette répartition sur Google Cloud.
Résultat
Une architecture de pipelines associant orchestration Airflow, transformations dbt, stockage analytique BigQuery et définition des ressources avec Terraform.
Mon intervention
- Architecture de chaînes de données associant Airflow, dbt et BigQuery
- Articulation entre orchestration des traitements, transformations SQL et modèles analytiques
- Description et organisation de l’infrastructure avec Terraform
Architecture de référence associée
Une plateforme Google Cloud réunit les données de marché et les informations extraites des documents financiers dans un entrepôt BigQuery. Elle peut servir, par exemple, à constituer un historique d’instruments et de portefeuilles, exploitable dans Power BI et par les applications via des API.
Apache Airflow
BigQuery
Cloud Run
Cloud Storage
dbt
GitHub
Power BI
Terraform
Vertex AI
Composants et flux
- Conservation des fichiers sources dans Cloud Storage et chargement des tables brutes dans BigQuery
- Transformations dbt et contrôles de qualité avant publication des tables de faits et dimensions
- Extraction documentaire par Vertex AI, analyses dans Power BI et accès applicatif par API Cloud Run
Compétences associées
- Plateformes et entrepôts de données
- Analyse décisionnelle et reporting
- Automatisation des infrastructures
Prestations par secteur
Autres réalisations
Parlons de votre projet
Un échange sur la conception, le développement et la mise en production de votre projet.