Réalisation d’ingénierie
Collecte et historisation des données des marchés de l’électricité
Transformer les publications des marchés de l’électricité en historiques de prix et de volumes exploitables dans une base SQL.
Le projet
Développement de collecteurs de données pour un groupe énergétique. Les services Python récupèrent les données des marchés de l’électricité day-ahead et intraday, déterminent les périodes de livraison correspondantes et alimentent une base SQL. Des traitements distincts consolident les séries ENTSO-E relatives à l’énergie et aux réserves.
Approche technique
Un prix est associé à une période de livraison précise. Certaines publications désignent un quart d’heure par son heure de fin ; la base utilise son heure de début. Une valeur peut aussi être corrigée après sa première publication. Les traitements explicitent ces conventions temporelles et les règles de mise à jour. Le schéma distingue les collecteurs de marché de la consolidation ENTSO-E.
Résultat
Des services de collecte et de reprise d’historique qui transforment les publications de marché en séries temporelles structurées dans SQL, avec prise en compte des corrections ultérieures.
Mon intervention
- Services Python conteneurisés pour Azure Functions, avec déclenchement HTTP et exécution planifiée
- Collecte des tableaux publiés avec un navigateur automatisé, conversion des valeurs et traitement des intervalles horaires et de quinze minutes
- Traitement des dates de livraison, des limites d’intervalles et des fuseaux horaires ; chargement de l’historique sur une période définie
- Insertions et mises à jour SQL par MERGE, puis consolidation des courbes ENTSO-E en retenant la version la plus récente pour chaque intervalle
Vue fonctionnelle
Des fonctions Python sur Azure collectent les publications de prix, tandis qu’un traitement SQL consolide les séries ENTSO-E. Les scripts gèrent le backfill des historiques, la normalisation des périodes et l’insertion ou la mise à jour des enregistrements avec MERGE.
Azure
Docker
Python
SQL Server
Composants et flux
- Déclenchements HTTP et planifiés ; extraction des tableaux publiés par navigateur automatisé
- Normalisation des valeurs et des périodes de livraison, puis mise à jour SQL
- Traitement ENTSO-E avec sélection de la dernière révision par période et consolidation des courbes
Compétences associées
- Plateformes et entrepôts de données
- Analyse décisionnelle et reporting
- API et intégration des systèmes
Prestations par secteur
Autres réalisations
Parlons de votre projet
Un échange sur la conception, le développement et la mise en production de votre projet.