Description du poste
Data Engineer (Python y PySpark) En Arelance sabemos que las personas son el activo más importante dentro de una empresa y por tanto invertimos muchos esfuerzos en buscar los mejores profesionales para nuestros clientes, y en ofrecer a nuestros candidatos los mejores proyectos. En este momento, buscamos incorporar un/a Senior Data Engineer especializado/a en Python y PySpark, para participar en un proyecto de desarrollo, mantenimiento y evolución de una plataforma de procesamiento de datos, trabajando en la optimización de procesos ETL, auditoría y control de calidad de datos, dentro de un entorno tecnológico basado en AWS. ¿Qué buscamos en ti? Experiencia avanzada en desarrollo con Python y PySpark. Experiencia en desarrollo, mantenimiento y optimización de procesos ETL. Dominio de SQL avanzado para consultas complejas, validación y auditoría de datos. Experiencia trabajando con Git y GitHub para el control de versiones. Conocimientos de CI/CD y herramientas como Jenkins y GitHub Actions. Experiencia práctica con AWS, especialmente S3, Athena y SageMaker. Se valorarán conocimientos de AWS Lambda, Fargate, CloudWatch y Kinesis. Se valorará experiencia en GenAI, desarrollo de agentes con OpenAI y LangGraph, Prompt Engineering y APIs con FastAPI. También se valorarán conocimientos de OpenTelemetry y experiencia en entornos financieros. Entre tus funciones: Desarrollar, mantener y optimizar procesos ETL utilizando Python y PySpark. Evolucionar el motor principal de procesamiento de datos y su librería asociada. Realizar auditorías y controles de calidad de datos mediante consultas SQL avanzadas. Detectar duplicados, validar claves primarias e identificar inconsistencias y errores en los datos. Trabajar con servicios AWS como S3, Athena y SageMaker. Gestionar el control de versiones, revisar código y participar en procesos de integración y despliegue continuo. Diagnosticar posibles incidencias en pipelines, builds y despliegues. Participar, cuando sea necesario, en la evolución de soluciones basadas en inteligencia artificial generativa y agentes LLM. ¿Qué ofrecemos en esta posición? Contrato indefinido en Arelance. Acceso a formación. Modalidad de trabajo: Híbrida en Madrid, deberás estar presencial en la oficina 2 veces a la semana. SBA hasta 35,000 según experiencia y perfil aportado. Si tienes interés en una gran oportunidad como ésta, ¡inscríbete! ¡Queremos conocerte! Sólo se valoran candidatos con permiso de trabajo y residencia en España Python, PySpark, AWS, SQL, Jenkins