Description du poste

📑 CDI/ Freelance / Portage Salarial – 📍 Toulouse – 🛠 Expérience d’au moins 6 ans

🌟 Envie d’un nouveau challenge… CELAD vous attend ! 🚀

Nous recherchons un/une Data Engineer Spark Scala passionné·e pour accompagner nos équipes dans l’optimisation de la performance et la mise en place d’outils de monitoring technique et fonctionnel💻.

Vos missions 🎯

Au sein d’une équipe dynamique opérant en mode Agile (SCRUM), vous interviendrez sur des projets stratégiques dans le cadre du développement et de l’optimisation d’une plateforme Big Data.

Vos responsabilités incluront :
1️Optimisation des performances :

• Réduction des temps d’exécution et amélioration de l’utilisation des ressources machines.
• Traitement et distribution des données pour répondre à une volumétrie croissante.

2️Mise en place d’outils de monitoring :

• Développement et intégration d’outils de suivi technique et fonctionnel.

Vous serez garant·e de la pérennité des solutions existantes tout en participant à leur évolution.

Environnement technique

Vous évoluerez sur une architecture Big Data basée sur une plateforme Cloudera Hadoop (cluster on-premise), intégrant les technologies suivantes :

• Spark / Scala (confirmé·e)
• Kafka (avancé)
• Hadoop, Hive, HBase, SolR, Kerberos
• Librairies fonctionnelles appréciées : ZIO, MONIX, CATS
• Outils Agile : Jira, Confluence, méthodologies Scrum et Kanban.
• L’anglais est utilisé régulièrement dans les échanges avec l’équipe.

Votre profil 👨‍🎓

Nous recherchons un·e expert·e en optimisation des performances Big Data et en développement avec Spark et Scala, ayant une expérience d’au moins 6 ans.

Vos atouts pour réussir :

Technique :

• Expérience confirmée en optimisation de performances sur des clusters on-premise.
• Expertise en frameworks Big Data (Hadoop, Spark, Kafka) et maîtrise des bases NoSQL.

Relationnel :

• Curiosité, esprit d’innovation et agilité d’esprit.
• Capacité à travailler en autonomie et à s’organiser avec rigueur.
• Esprit d’équipe et bonnes compétences en communication (français et anglais).
• Esprit proactif, orienté solutions.