Data Engineer Microsoft Fabric

Taken en verantwoordelijkheden

Sinds enkele jaren streeft onze klant ernaar een volledig datagedreven organisatie te worden en vertrouwt voor haar rapportage en analyse op een centraal datawarehouse.

Gezien de snel evoluerende technologieën en bedrijfsbehoeften wil men dit platform nu moderniseren door dit platform te migreren naar de Microsoft Azure-cloud. Deze transitie gaat gepaard met de implementatie van nieuwe, krachtige tools, waaronder Microsoft Fabric (ETL) en Power BI.

Missie :

• Ontwerpen en ontwikkelen van ETL flows in Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) op Azure Cloud
• Instellen van gegevensmodellen georiënteerd naar BI naar de methodologie van Kimball / snowflake
• Ontwikkelen van feitentabellen, dimensies en aggregaten in het DataWarehouse met respect voor de prioriteiten en de planning
• Verzekeren van de kwaliteit, betrouwbaarheid, monitoring en prestaties van de kenmerken en de flows
• Beheren en bewaken van traceerbaarheid, waarschuwingen voor de flow en afwijzingsproblemen
• Automatiseren van de implementatiesmet CI/CD (Azure DevOps of GitHub)
• Werken in nauwe samenwerking met het team IC om de samenhang tussen systemen en oplossingen te verzekeren
• Verbinden met verschillende bronnen (Oracle, SQL Server, XML, Flat files, ...), begrijpen van hun structuren en optimaliseren van extracties
• Respecteren van de gedefinieerde technische standaarden: : naamgeving, beveiliging, beheer, monitoring, CI/CD
• Respecteren van de guidelines en de interne procedures op zowel technisch als organisatorisch niveau
• Documenteren van de bewerkingen en de flows

Technische vaardigheden :

• Microsoft Fabric: Lakehouse, Dataflows Gen2, Pipelines, Warehouse
• Azure : Azure Data Lake, Azure Synapse (un plus)
• Databanken: uitstekende beheersing van Oracle en SQL Server (connectie, extractie, optimalisatie van selects)
• SQL: gevorderd niveau
• PySpark: verdeelde bewerkingen voor grote volumes van data
• DAX (noties)
• Concepten van datawarehouse
• Modellering Kimball: Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
• ETL/ELT: goede praktijkkennis voor sequentiebepaling en monitoring
• CI/CD: Azure DevOps of GitHub Actions
• Beveiliging en beheer van de gegevens op Azure
• Kennis van de Sparx Enterprise Architect voor de documentatie is een pluspunt
• Kennis van Informatica Powercenter (of de wil om het te leren) is een plus

Gewenst profiel :

• Bachelor in Computer Science of gerlijkwaardige ervaring
• Minstens 5 jaar ervaring in Data Engineering, waarvan zeker 3 jaar in Fabric op Azure Cloud
• Goede beheersing van de methodologie Kimball voor BI
• Bewezen ervaring van Oracle en SQL Server databases
• Capaciteit om de prestaties te optimaliseren en de processen te documenteren
• Capaciteit om in een team te werken met respect v oor het bestuur en de interne procedures
• FR/NL met een goede passieve kennis van de andere taal (vereist)

Depuis plusieurs années, notre clients'efforce de devenir une organisation pleinement orientée données et s'appuie sur un entrepôt de données central pour la production de ses rapports et de ses analyses. Dans un contexte d'évolution rapide des technologies et des besoins métier, on entame à présent la modernisation de cette plateforme en la migrant vers le cloud Microsoft Azure. Cette transition s'accompagne de l'adoption de nouveaux outils performants, notamment Microsoft Fabric (ETL) et Power BI.

Mission :

• Concevoir et développer les flux ETL dans Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) sur Azure Cloud
• Mettre en place des modèles de données orientés BI en suivant la méthodologie Kimball / snowflake
• Développer les tables de faits, dimensions et agrégats dans le DataWarehouse en respectant les priorités et le planning
• Assurer la qualité, la fiabilité, le monitoring et la performance des traitements et des flux
• Gérer le monitoring, la traçabilité, les alertes des flux et les rejets.
• Automatiser les déploiements avec CI/CD (Azure DevOps ou GitHub)
• Travailler en étroite collaboration avec l'équipe ICT pour assurer la cohérence des systèmes et des solutions
• Se connecter à différentes sources (Oracle, SQL Server, XML, Flat files, ...), comprendre leur structure et optimiser les extractions
• Respecter les standards techniques définis : nommage, sécurité, gouvernance, monitoring, CI/CD
• Respecter les guidelines et les procédures internes tant au niveau technique qu'organisationnel
• Documenter les traitements et les flux

Compétences techniques :

• Microsoft Fabric: Lakehouse, Dataflows Gen2, Pipelines, Warehouse
• Azure : Azure Data Lake, Azure Synapse (un plus)
• Bases de données sources : excellente maîtrise d'Oracle et SQL Server (connexion, extraction, optimisation des requêtes)
• SQL : niveau avancé
• PySpark : traitements distribués pour gros volumes de données
• DAX (notions)
• Concepts de datawarehouse
• Modélisation Kimball : Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
• ETL/ELT : bonnes pratiques de séquencement et de monitoring
• CI/CD : Azure DevOps ou GitHub Actions
• Sécurité et gouvernance des données sur Azure
• La connaissance de Sparx Enterprise Architect pour la documentation et la modélisation est un atout
• La connaissance d'Informatica Powercenter (ou la volonté de l'apprendre) est un plus

Profil recherché :

• Bachelor en Computer Science ou expérience équivalente
• Expérience de minimum 5 ans en Data Engineering, dont au moins 3 ans en Fabric sur Azure Cloud
• Maîtrise avérée de la méthodologie Kimball pour le BI
• Expérience confirmée avec des bases de données Oracle et SQL Server
• Capacité à optimiser les performances et à documenter les processus
• Capacité à travailler en équipe en respectant la gouvernance et les procédures internes
• FR/NL avec bonne connaissance passive de l'autre langue (obligatoire)

Jouw profiel

Roles

• Big Data Engineer - Level: Confirmed

Languages

• French - Level: Native
• English - Level: Passive knowledge
• Dutch - Level: Native

Skills

• DAX (geavanceerd) / Power Query - Level: Junior
• Tabulaire modellering en optimalisatie van datasets in de cloud - Level: Junior
• Ontwikkeling ETL/ELT - Level: Confirmed
• Power BI Desktop & Service datasets - Level: Junior
• SQL - Level: Confirmed
• CI/CD (Azure DevOps of GitHub) - Level: Junior
• Ervaring in functionele analyse & data - Level: Confirmed
• Praktische kennis van methodologieën voor gegevensmodellering - Level: Confirmed
• Beveiliging en gegevensbeheer in Azure - Level: Junior
• Pyspark - Level: Junior
• ETL/ELT: best practices voor sequencing en monitoring - Level: Confirmed
• Integratie van Power BI * Microsoft Fabric / Azure - Level: Junior
• Ontwikkeling MS Fabric - Level: Junior
• Oracle-/SQLServer-databases - Level: Confirmed

Aanbod

Je zal deel uitmaken van een groeiende KMO met ruimte voor initiatief en persoonlijke ontwikkeling. Wij zorgen ervoor dat je in een uitdagende maar aangename werkomgeving terecht komt met leuke collega's. Samen met jou stippelen we een carriereplan uit, met aandacht en budget voor bijkomende opleidingingen / certificaties. Je kan rekenen op een motiverend salaris, aangevuld met extralegale voordelen, inclusief bedrijfswagen (of alternatieve vergoeding). (Freelance is ook

• Beveiliging en beheer van de gegevens op Azure

• Kennis van de Sparx Enterprise Architect voor de documentatie is een pluspunt

• Kennis van Informatica Powercenter (of de wil om het te leren) is een plus

• Bachelor in Computer Science of gerlijkwaardige ervaring

• Minstens 5 jaar ervaring in Data Engineering, waarvan zeker 3 jaar in Fabric op Azure Cloud

• Goede beheersing van de methodologie Kimball voor BI

• Bewezen ervaring van Oracle en SQL Server databases

• Capaciteit om de prestaties te optimaliseren en de processen te documenteren

• Capaciteit om in een team te werken met respect v oor het bestuur en de interne procedures

• FR/NL met een goede passieve kennis van de andere taal (vereist)

Depuis plusieurs années, notre clients'efforce de devenir une organisation pleinement orientée données et s'appuie sur un entrepôt de données central pour la production de ses rapports et de ses analyses. Dans un contexte d'évolution rapide des technologies et des besoins métier, on entame à présent la modernisation de cette plateforme en la migrant vers le cloud Microsoft Azure. Cette transition s'accompagne de l'adoption de nouveaux outils performants, notamment Microsoft Fabric (ETL) et Power BI.

• Bachelor en Computer Science ou expérience équivalente
• Expérience de minimum 5 ans en Data Engineering, dont au moins 3 ans en Fabric sur Azure Cloud
• Maîtrise avérée de la méthodologie Kimball pour le BI
• Expérience confirmée avec des bases de données Oracle et SQL Server
• Capacité à optimiser les performances et à documenter les processus
• Capacité à travailler en équipe en respectant la gouvernance et les procédures internes
• FR/NL avec bonne connaissance passive de l'autre langue (obligatoire)

Je zal deel uitmaken van een groeiende KMO met ruimte voor initiatief en persoonlijke ontwikkeling. Wij zorgen ervoor dat je in een uitdagende maar aangename werkomgeving terecht komt met leuke collega's. Samen met jou stippelen we een carriereplan uit, met aandacht en budget voor bijkomende opleidingingen / certificaties. Je kan rekenen op een motiverend salaris, aangevuld met extralegale voordelen, inclusief bedrijfswagen (of alternatieve vergoeding). (Freelance is ook

Sinds enkele jaren streeft onze klant ernaar een volledig datagedreven organisatie te worden en vertrouwt voor haar rapportage en analyse op een centraal datawarehouse. Gezien de snel evoluerende technologieën en bedrijfsbehoeften wil men dit platform nu moderniseren door dit platform te migreren naar de Microsoft Azure-cloud. Deze transitie gaat gepaard met de implementatie van nieuwe, krachtige tools, waaronder Microsoft Fabric (ETL) en Power BI. * Concevoir et développer les flux ETL dans Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) sur Azure Cloud * Mettre en place des modèles de données orientés BI en suivant la méthodologie Kimball / snowflake * Développer les tables de faits, dimensions et agrégats dans le DataWarehouse en respectant les priorités et le planning * Assurer la qualité, la fiabilité, le monitoring et la performance des traitements et des flux * Gérer le monitoring, la traçabilité, les alertes des flux et les rejets. * Automatiser les déploiements avec CI/CD (Azure DevOps ou GitHub) * Travailler en étroite collaboration avec l'équipe ICT pour assurer la cohérence des systèmes et des solutions * Se connecter à différentes sources (Oracle, SQL Server, XML, Flat files, ...), comprendre leur structure et optimiser les extractions * Respecter les standards techniques définis : nommage, sécurité, gouvernance, monitoring, CI/CD * Respecter les guidelines et les procédures internes tant au niveau technique qu'organisationnel * Documenter les traitements et les flux