Data Engineer Azure & Databricks

Krell Consulting & Training

3 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

Spanish

Experience level

Intermediate

Job location

Tech stack

API

Amazon Web Services (AWS)

Azure

Continuous Integration

ETL

Python

Azure

SQL Databases

Data Streaming

Data Processing

Spark

Infrastructure as Code (IaC)

PySpark

Spark Streaming

Software Version Control

Databricks

Job description

Desde Krell Consulting buscamos un/a Data Engineer con experiencia en entornos cloud para incorporarse a un proyecto en Barcelona, centrado en el desarrollo y evolución de plataformas de datos modernas., Desarrollo, despliegue y mantenimiento de pipelines ETL/ELT. Diseño y evolución de plataformas de datos en entornos cloud. Integración y procesamiento de datos. Documentación y definición de pipelines de datos.

Requirements

Experiencia como Data Engineer (mínimo 4 años). Experiencia en: Azure Data Lake Storage y servicios de datos en Azure Databricks (Apache Spark, optimización de jobs y clusters) Desarrollo en Python / PySpark Modelado de datos SQL avanzado Conocimiento de arquitectura Medallion. Buenas prácticas de desarrollo, control de versiones y CI/CD.

Valorable Programación en Scala. Experiencia en otros entornos cloud (AWS o GCP). Integración con APIs (ETLs sobre APIs de terceros). Tecnologías de streaming (Spark Streaming). Infraestructura como código (IaC). Data governance.

Benefits & conditions

Proyecto con foco en tecnologías de datos modernas. Entorno técnico avanzado en cloud. Oportunidad de participar en evolución de plataformas de datos., * Jornada completa Jornada