From 2df1e21dfba36d58272fa8e373310cde2e5c2904 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Xavier=20Dupr=C3=A9?= Date: Tue, 3 Nov 2026 23:03:43 +0100 Subject: [PATCH] plan --- _doc/articles/2026/2026-11-04-technique.rst | 140 ++++++++++++++++++++ 1 file changed, 140 insertions(+) create mode 100644 _doc/articles/2026/2026-11-04-technique.rst diff --git a/_doc/articles/2026/2026-11-04-technique.rst b/_doc/articles/2026/2026-11-04-technique.rst new file mode 100644 index 0000000..c3980ca --- /dev/null +++ b/_doc/articles/2026/2026-11-04-technique.rst @@ -0,0 +1,140 @@ +2026-11-04 - une technique pour chaque échelle, chaque problème + + +**De la startup acoustique à la plateforme mondiale de données** + + +30 étapes de développement technologique et industriel. + ++----+------------------------------+--------------------------------------+------------------------------+ +| # | Évolution | Techniques, langages et technologies | Échelle | ++====+==============================+======================================+==============================+ +| 1 | POC acoustique : mesurer le | Python, NumPy, SciPy, PyAudio, FFT | 1 utilisateur, 1 capteur | +| | bruit en continu chez un | | | +| | particulier. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 2 | Analyse du paysage sonore : | DSP, filtres numériques, | 1 environnement, plusieurs | +| | identifier fréquences et | spectrogrammes, STFT | jours de mesures | +| | événements. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 3 | Premier capteur autonome : | Raspberry Pi, Linux, C++, | 1 à 10 équipements | +| | collecte 24h/24 sur mini-PC. | systemd, ALSA | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 4 | Stockage des mesures et | SQLite, PostgreSQL, SQL, | Millions de mesures | +| | constitution d'un historique.| TimescaleDB | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 5 | Première interface : | Python, Streamlit, Plotly, Grafana | Quelques utilisateurs | +| | visualisation temporelle et | | | +| | fréquentielle. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 6 | Fiabilisation : gestion des | C++, Python, watchdog, buffers, | 10 à 100 capteurs | +| | coupures, redémarrages et | retry, stockage local | | +| | pertes de données. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 7 | Réseau de capteurs : | MQTT, TLS, HTTP, certificats, | 100 à 1 000 capteurs | +| | communication et identité | provisioning | | +| | des équipements. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 8 | Collecte centralisée : | Python, FastAPI, PostgreSQL, REST | 1 000 capteurs | +| | réception et exposition | | | +| | des mesures par API. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 9 | Gestion du parc : | Java, Spring Boot, PostgreSQL, | Plusieurs milliers | +| | état, localisation, | API, gestion de configuration | d'équipements | +| | versions et maintenance. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 10 | Premier produit commercial : | Grafana, React, TypeScript, | Plusieurs sites, dizaines | +| | dashboards multi-sites et | WebSockets | de clients | +| | suivi en direct. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 11 | Architecture distribuée : | Microservices, Java, Python, Docker | 10 000 capteurs | +| | séparation ingestion, | | | +| | stockage et calcul. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 12 | Ingestion massive : | Apache Kafka, partitionnement, | 10 000 à 50 000 capteurs | +| | absorber les flux sans | consumer groups, backpressure | | +| | perte. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 13 | Traitement temps réel : | Apache Flink, Kafka Streams, | 50 000 à 100 000 capteurs | +| | détection et agrégation | fenêtres temporelles | | +| | des événements. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 14 | Gestion des alertes : | CEP, moteurs de règles, | Milliers d'événements | +| | seuils, anomalies, | Alertmanager, notifications | par seconde | +| | confirmation et escalade. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 15 | Infrastructure résiliente : | Kubernetes, réplication, failover, | 100 000 capteurs, | +| | haute disponibilité et | autoscaling, Prometheus | disponibilité 24/7 | +| | reprise après incident. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 16 | Data Lake : conservation | S3, Parquet, compression, | Plusieurs pétaoctets | +| | des mesures brutes et | partitionnement | | +| | enrichies. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 17 | Calcul distribué : | Apache Spark, PySpark, Arrow | Millions de capteurs, | +| | analyse historique et | | milliards de mesures | +| | calcul parallèle. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 18 | Catalogue de données : | Apache Iceberg, Delta Lake, | Plusieurs pétaoctets, | +| | métadonnées, évolution | schema evolution, time travel | centaines de datasets | +| | des schémas et versions. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 19 | Recherche analytique : | Trino, ClickHouse, Elasticsearch, | Milliards à milliers de | +| | requêtes rapides sur les | SQL | milliards d'enregistrements | +| | données historiques. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 20 | Optimisation des | C++, SIMD, Arrow, memory mapping, | Plusieurs pétaoctets, | +| | performances et des coûts. | cache distribué | requêtes parallèles | ++----+------------------------------+--------------------------------------+------------------------------+ +| 21 | API de recherche : | Java, Python, REST, GraphQL, | Centaines de clients et | +| | accès aux mesures et | OAuth2 | partenaires | +| | analyses pour les tiers. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 22 | Environnement scientifique : | JupyterHub, Python, Polars, | Centaines de chercheurs, | +| | notebooks et calcul sur | Pandas, Spark | milliers de notebooks | +| | données historiques. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 23 | Dashboards temps réel : | WebSockets, React, TypeScript, | Milliers d'utilisateurs | +| | cartes, événements et | Grafana | simultanés | +| | alertes interactives. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 24 | Machine Learning : | PyTorch, scikit-learn, modèles | Millions de séries | +| | classification, anomalies | distribués | temporelles | +| | et reconnaissance. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 25 | Gouvernance des données : | Apache Atlas, lineage, RBAC, | Plusieurs organisations, | +| | traçabilité, anonymisation, | chiffrement, RGPD | gestion multi-tenant | +| | droits et conservation. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 26 | Déploiement mondial : | Kubernetes multi-clusters, | Plusieurs pays, | +| | administration de réseaux | Terraform, cloud, edge computing | centaines de milliers | +| | géographiquement répartis. | | de capteurs | ++----+------------------------------+--------------------------------------+------------------------------+ +| 27 | Plateforme multi-clients : | Multi-tenancy, OAuth2, RBAC, | Milliers de clients | +| | isolation, quotas et | API Gateway | | +| | facturation à l'usage. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 28 | Marketplace de données : | Data Catalog, APIs, abonnements, | Marché international, | +| | commercialisation de flux, | gouvernance | centaines de partenaires | +| | indicateurs et historiques. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 29 | Jumeaux numériques : | Digital Twins, graphes, SIG, | Régions, métropoles, | +| | représentation dynamique | modèles physiques | territoires | +| | des environnements. | | | ++----+------------------------------+--------------------------------------+------------------------------+ +| 30 | Plateforme mondiale : | Architecture événementielle, | Millions de capteurs, | +| | intelligence environnementale| Big Data, IA distribuée, | plusieurs continents, | +| | et prédictive. | haute disponibilité | exploitation 24/7 | ++----+------------------------------+--------------------------------------+------------------------------+ + + +Capacités transversales +======================= + +- Corrélation spatio-temporelle des observations de capteurs. +- Fusion de données multi-capteurs (bruit, température, fumée, vibrations, + humidité, pression, météo). +- Détection et suivi de propagation d'incendies, d'inondations et de pollutions. +- Gestion des alertes, confirmation multi-capteurs et escalade. +- Recherche scientifique sur des milliards de mesures. +- Résilience, réplication et reprise automatique après panne.