Real Estate Fair Price Estimator
Pipeline Big Data : ce bien immobilier est-il au juste prix ?
Architecture du système
- 01
Data Lake
Transactions immobilières historiques, du raw au servi
- 02
Orchestration
Apache Airflow pilote les traitements
- 03
Transformation
Spark (PySpark) distribué, stockage colonne Parquet
- 04
Recherche
Indexation Elasticsearch + dashboards Kibana
- 05
Verdict
FastAPI — fourchette de prix, confiance, rendement locatif
On donne au système un bien (ville, type, surface, prix) et il le compare à des milliers de transactions historiques pour rendre un verdict — sous-évalué, au juste prix ou surévalué — avec une fourchette de prix estimée, un niveau de confiance et le rendement locatif. L'orchestration est gérée par Airflow, la transformation par Spark (PySpark) avec stockage Parquet, la recherche par Elasticsearch, et la visualisation par Kibana plus une interface FastAPI sur mesure.
Ce qui a été construit
- Architecture Data Lake propre, du raw au servi
- Orchestration Apache Airflow des traitements
- Transformation distribuée Spark (PySpark), stockage colonne Parquet
- Indexation Elasticsearch + dashboards Kibana
- Interface FastAPI rendant un verdict prix + fourchette + rendement locatif
- Démo en ligne : ismyhouseexpensive.netlify.app
Le vrai défi
Au-delà du modèle, le vrai travail était l'architecture de données : faire circuler proprement la donnée du lac brut jusqu'à une réponse servie en temps réel. C'est exactement la chaîne d'un poste de Data Engineer.
Projet suivant
TeamUp