Data Engineer Desde BAOSS buscamos un/a Data Engineer para un proyecto del sector bancario centrado en migrar una plataforma Hadoop a cloud. Trabajarás con Apache Spark y Scala para transformar datos y con Apache Airflow para automatizar su ingesta y procesamiento. ¿Qué harás? Participar en la migración de la infraestructura Hadoop a un entorno cloud con Kubernetes, almacenamiento COS y servicios gestionados de Spark y Airflow. Desarrollar procesos de transformación y enriquecimiento de datos con Spark, Scala y SQL, incorporando controles de calidad. Automatizar pipelines de datos con Airflow y configurar procesos de CI/CD para pruebas y despliegues. Escribir pruebas unitarias y de validación, documentar los procesos técnicos y operativos y colaborar con equipos de datos, negocio y operaciones IT. ¿Qué buscamos? Buen manejo de Spark con Scala, Hadoop, HDFS y Apache Airflow, y conocimiento sólido de Oozie y Shell scripting. Dominio de SQL y conocimientos de bases de datos NoSQL, almacenamiento de objetos S3/COS y formatos Parquet y ORC. Conocimientos de CI/CD con GitLab CI, Jenkins o herramientas equivalentes, del ciclo de vida del software y de metodologías ágiles. Capacidad para diseñar prompts y usar herramientas de IA generativa en tareas de desarrollo, pruebas, generación de datos o documentación. Inglés C1, capacidad para resolver problemas y facilidad para colaborar con equipos técnicos y de negocio. ¿Qué ofrecemos? Contrato indefinido a través de Baoss Modalidad híbrida de teletrabajo en Madrid Spark, Scala, Apache Airflow