El equipo de datos empresariales del cliente requiere un ingeniero de datos ETL para respaldar las operaciones de datos para su intercambio de datos en la nube.  El recurso utilizará herramientas nativas de Azure para realizar tareas de ETL, carga de datos y transformación de datos.

 

Descripción completa:

 

El ingeniero de datos de ETL apoyará al equipo de datos empresariales del cliente para las tareas de conservación, procesamiento y transformación de datos.  En concreto, el ingeniero de datos ETL será responsable de las siguientes tareas:


Responsabilidades:

1. Analiza, diseña, desarrolla, implementa, replica y da soporte a proyectos complejos de datos empresariales.

 

2. Interactúa con otras agencias, consulta e informa a los departamentos usuarios sobre los requisitos del sistema, asesora sobre las limitaciones del entorno y las dificultades operativas para el estado actual y asesora y resuelve problemas utilizando soluciones en la nube y desarrolla y replica futuras mejoras a los sistemas de datos del Distrito.

 

3. Sólido conocimiento de los procesos de extracción, transformación y carga (ETL) utilizando marcos como Azure Data Factory, Synapse, Databricks, Informatica mediante la recopilación de requisitos de las partes interesadas o el análisis del código existente y realizar mejoras o nuevos desarrollos.

 

4. Establecer la conectividad en la nube y en las instalaciones en diferentes sistemas como ADLS, ADF, Synapse, Databricks

 

5. Experiencia práctica en servicios en la nube de Azure como Azure Data Factory o Azure Synapse, MSSQL Db, Azure SQL DB, Azure Data Lake Storage Gen2, Blob Storage, Python, etc.

 

6. Trabajé en la creación de canalizaciones de extremo a extremo para cargar datos leyéndolos de múltiples fuentes o sistemas de origen y cargarlos en la capa de aterrizaje o en tablas SQL.

 

7. Familiaridad/experiencia con la integración de datos y las herramientas de canalización de datos (por ejemplo, Informatica, Synapse, Apache NiFi, Apache Airflow)

 

8. Familiaridad/experiencia con varios formatos de datos, incluidos los específicos de la base de datos (Oracle, SQL Server, DB2, Quickbase), formatos de texto (CSV, XML) y binarios (Parquet, AVRO)

 

9. Desarrolla, estandariza y optimiza el flujo de trabajo de datos / canalizaciones existentes adhiriéndose a las mejores prácticas.

 

10. Adherirse y contribuir a los estándares de gobernanza de datos empresariales garantizando la precisión, coherencia, seguridad y confiabilidad de los datos.

 

11. Automatiza, monitorea, alerta y administra canalizaciones de datos y flujos de trabajo.

 

12. Analiza y evalúa los cambios en el sistema para determinar la viabilidad, proporciona soluciones alternativas, procedimientos de respaldo y reversión.

 

13. Trabaja en el desarrollo de nuevos sistemas, actualizaciones y mejoras de los sistemas existentes y garantiza que los sistemas sigan las normas aprobadas y la coherencia después de los cambios.

 

14. Desarrolla programas e informes complejos en lenguaje de consulta de bases de datos.

 

15. Familiaridad/experiencia con herramientas de visualización de datos.

 

16. Familiaridad/experiencia en el manejo y la protección de datos confidenciales en función del nivel de sensibilidad