Responsabilidades Principales

• Administrar y optimizar el entorno Databricks, gestionando clústeres, notebooks y jobs automatizados.
• Implementar y mantener pipelines de datos eficientes y escalables en Azure Data Factory o Databricks Workflows, utilizando PySpark.
• Diseñar estrategias de automatización en calidad de datos, incluyendo validaciones, alertas y monitoreo.
• Desarrollar infraestructura como código mediante Terraform, asegurando el versionamiento y despliegue controlado de componentes cloud.
• Integrar procesos de CI/CD para pipelines de datos.
• Colaborar con equipos de Data Engineering y Analytics para mejorar la disponibilidad y consistencia de los datos.
• Monitorear y optimizar costos, rendimiento y seguridad de los entornos cloud.

Conocimientos Técnicos

Plataforma principal: Databricks

Cloud: Azure (Data Factory, Data Lake)

Lenguajes: PySpark, SQL

Infraestructura como código: Terraform

DevOps / CI-CD: Azure DevOps

Experiencia Requerida

• 3+ años en DataOps o Data Engineering.
• Experiencia administrando Databricks.
• Práctica en automatización de calidad de datos.
• Desarrollo y mantenimiento de pipelines de datos en PySpark.
• Uso de Terraform para infraestructura de datos.
• Integración de procesos de DevOps (CI/CD).