Skip to content

plan #100

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
xadupre wants to merge 1 commit into
base: main
Choose a base branch
from
Open

plan #100

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
140 changes: 140 additions & 0 deletions _doc/articles/2026/2026-11-04-technique.rst
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -0,0 +1,140 @@
2026-11-04 - une technique pour chaque échelle, chaque problème


**De la startup acoustique à la plateforme mondiale de données**


30 étapes de développement technologique et industriel.

+----+------------------------------+--------------------------------------+------------------------------+
| # | Évolution | Techniques, langages et technologies | Échelle |
+====+==============================+======================================+==============================+
| 1 | POC acoustique : mesurer le | Python, NumPy, SciPy, PyAudio, FFT | 1 utilisateur, 1 capteur |
| | bruit en continu chez un | | |
| | particulier. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 2 | Analyse du paysage sonore : | DSP, filtres numériques, | 1 environnement, plusieurs |
| | identifier fréquences et | spectrogrammes, STFT | jours de mesures |
| | événements. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 3 | Premier capteur autonome : | Raspberry Pi, Linux, C++, | 1 à 10 équipements |
| | collecte 24h/24 sur mini-PC. | systemd, ALSA | |
+----+------------------------------+--------------------------------------+------------------------------+
| 4 | Stockage des mesures et | SQLite, PostgreSQL, SQL, | Millions de mesures |
| | constitution d'un historique.| TimescaleDB | |
+----+------------------------------+--------------------------------------+------------------------------+
| 5 | Première interface : | Python, Streamlit, Plotly, Grafana | Quelques utilisateurs |
| | visualisation temporelle et | | |
| | fréquentielle. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 6 | Fiabilisation : gestion des | C++, Python, watchdog, buffers, | 10 à 100 capteurs |
| | coupures, redémarrages et | retry, stockage local | |
| | pertes de données. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 7 | Réseau de capteurs : | MQTT, TLS, HTTP, certificats, | 100 à 1 000 capteurs |
| | communication et identité | provisioning | |
| | des équipements. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 8 | Collecte centralisée : | Python, FastAPI, PostgreSQL, REST | 1 000 capteurs |
| | réception et exposition | | |
| | des mesures par API. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 9 | Gestion du parc : | Java, Spring Boot, PostgreSQL, | Plusieurs milliers |
| | état, localisation, | API, gestion de configuration | d'équipements |
| | versions et maintenance. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 10 | Premier produit commercial : | Grafana, React, TypeScript, | Plusieurs sites, dizaines |
| | dashboards multi-sites et | WebSockets | de clients |
| | suivi en direct. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 11 | Architecture distribuée : | Microservices, Java, Python, Docker | 10 000 capteurs |
| | séparation ingestion, | | |
| | stockage et calcul. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 12 | Ingestion massive : | Apache Kafka, partitionnement, | 10 000 à 50 000 capteurs |
| | absorber les flux sans | consumer groups, backpressure | |
| | perte. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 13 | Traitement temps réel : | Apache Flink, Kafka Streams, | 50 000 à 100 000 capteurs |
| | détection et agrégation | fenêtres temporelles | |
| | des événements. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 14 | Gestion des alertes : | CEP, moteurs de règles, | Milliers d'événements |
| | seuils, anomalies, | Alertmanager, notifications | par seconde |
| | confirmation et escalade. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 15 | Infrastructure résiliente : | Kubernetes, réplication, failover, | 100 000 capteurs, |
| | haute disponibilité et | autoscaling, Prometheus | disponibilité 24/7 |
| | reprise après incident. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 16 | Data Lake : conservation | S3, Parquet, compression, | Plusieurs pétaoctets |
| | des mesures brutes et | partitionnement | |
| | enrichies. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 17 | Calcul distribué : | Apache Spark, PySpark, Arrow | Millions de capteurs, |
| | analyse historique et | | milliards de mesures |
| | calcul parallèle. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 18 | Catalogue de données : | Apache Iceberg, Delta Lake, | Plusieurs pétaoctets, |
| | métadonnées, évolution | schema evolution, time travel | centaines de datasets |
| | des schémas et versions. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 19 | Recherche analytique : | Trino, ClickHouse, Elasticsearch, | Milliards à milliers de |
| | requêtes rapides sur les | SQL | milliards d'enregistrements |
| | données historiques. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 20 | Optimisation des | C++, SIMD, Arrow, memory mapping, | Plusieurs pétaoctets, |
| | performances et des coûts. | cache distribué | requêtes parallèles |
+----+------------------------------+--------------------------------------+------------------------------+
| 21 | API de recherche : | Java, Python, REST, GraphQL, | Centaines de clients et |
| | accès aux mesures et | OAuth2 | partenaires |
| | analyses pour les tiers. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 22 | Environnement scientifique : | JupyterHub, Python, Polars, | Centaines de chercheurs, |
| | notebooks et calcul sur | Pandas, Spark | milliers de notebooks |
| | données historiques. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 23 | Dashboards temps réel : | WebSockets, React, TypeScript, | Milliers d'utilisateurs |
| | cartes, événements et | Grafana | simultanés |
| | alertes interactives. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 24 | Machine Learning : | PyTorch, scikit-learn, modèles | Millions de séries |
| | classification, anomalies | distribués | temporelles |
| | et reconnaissance. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 25 | Gouvernance des données : | Apache Atlas, lineage, RBAC, | Plusieurs organisations, |
| | traçabilité, anonymisation, | chiffrement, RGPD | gestion multi-tenant |
| | droits et conservation. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 26 | Déploiement mondial : | Kubernetes multi-clusters, | Plusieurs pays, |
| | administration de réseaux | Terraform, cloud, edge computing | centaines de milliers |
| | géographiquement répartis. | | de capteurs |
+----+------------------------------+--------------------------------------+------------------------------+
| 27 | Plateforme multi-clients : | Multi-tenancy, OAuth2, RBAC, | Milliers de clients |
| | isolation, quotas et | API Gateway | |
| | facturation à l'usage. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 28 | Marketplace de données : | Data Catalog, APIs, abonnements, | Marché international, |
| | commercialisation de flux, | gouvernance | centaines de partenaires |
| | indicateurs et historiques. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 29 | Jumeaux numériques : | Digital Twins, graphes, SIG, | Régions, métropoles, |
| | représentation dynamique | modèles physiques | territoires |
| | des environnements. | | |
+----+------------------------------+--------------------------------------+------------------------------+
| 30 | Plateforme mondiale : | Architecture événementielle, | Millions de capteurs, |
| | intelligence environnementale| Big Data, IA distribuée, | plusieurs continents, |
| | et prédictive. | haute disponibilité | exploitation 24/7 |
+----+------------------------------+--------------------------------------+------------------------------+


Capacités transversales
=======================

- Corrélation spatio-temporelle des observations de capteurs.
- Fusion de données multi-capteurs (bruit, température, fumée, vibrations,
humidité, pression, météo).
- Détection et suivi de propagation d'incendies, d'inondations et de pollutions.
- Gestion des alertes, confirmation multi-capteurs et escalade.
- Recherche scientifique sur des milliards de mesures.
- Résilience, réplication et reprise automatique après panne.
Loading