Líder Técnico Big Data + IA
Tendrás la oportunidad de liderar y hacer mentoría técnica a equipos de trabajo en proyectos de analítica e inteligencia artificial.
Funciones y responsabilidades:
El Líder Técnico de Big Data + AI tiene como propósito guiar y hacer mentoring al equipo de desarrollo, asegurando la adopción de tecnologías y herramientas adecuadas para la implementación de soluciones de procesamiento de datos de bajos y altos volúmenes y la integración de modelos de inteligencia artificial. Su rol es fundamental en la toma de decisiones técnicas, la adherencia a las decisiones y estrategias de arquitectura y la optimización de los flujos de procesamiento de datos masivos en entornos escalables.
Colaboración con arquitectos y stakeholders:
-Actuar como puente entre el equipo de desarrollo, los arquitectos y los stakeholders, asegurando que las soluciones sean viables y alineadas con los objetivos estratégicos del cliente.
-Definir estrategias de migración y modernización de ecosistemas de datos, asegurando una transición óptima desde arquitecturas legadas a soluciones cloud-native.
-Participar en revisiones de arquitectura, documentando y socializando decisiones clave con el equipo técnico.
-Coordinar con equipos de ciberseguridad y compliance para garantizar que las soluciones cumplan con estándares regulatorios y mejores prácticas.
Adherencia a la Estrategia y Arquitectura de Big Data + AI
-Garantizar que todas las soluciones de Big Data e Inteligencia Artificial (AI) sigan la estrategia corporativa de tratamiento y procesamiento de datos de la organización y se alineen con los principios de arquitectura establecidos. Su cumplimiento permite construir sistemas escalables, seguros y sostenibles, optimizando el valor de los datos y la toma de decisiones basada en AI.
-Asegurar que los desarrollos en Big Data y AI sigan las directrices estratégicas definidas por la organización y los arquitectos de datos. · Adoptar metodologías y frameworks recomendados para la gestión y explotación de datos (Data Mesh, Data Lakehouse, etc.).
-Impulsar la evolución tecnológica en línea con la estrategia de modernización de datos, promoviendo la migración de entornos legados a soluciones cloud-native.
Liderazgo Técnico y Gestión de Equipos
-Dirigir y capacitar a equipos técnicos en el diseño y desarrollo de soluciones de procesamiento de datos y su disposición a los servicios de IA para su explotación. · Fomentar la adopción de buenas prácticas de desarrollo, seguridad, mantenibilidad y robustez para soluciones de big data y de integración de servicios de IA al interior del equipo.
-Supervisar la ejecución de los proyectos, asegurando entregas de calidad dentro del tiempo y presupuesto establecidos.
-Establecer los mecanismos y líneas base de reutilización para los proyectos dentro de las líneas técnicas específicas de su liderazgo.
-Construir las líneas base de los proyectos en conjunto con los arquitectos designados.
-Resolver los impedimentos técnicos que se presenten en el proceso de construcción con apoyo del equipo de arquitectos escalando dichos impedimentos cuando sea requerido.
-Guiar a los equipos de desarrollo en la ejecución de los procesos de construcción sirviendo como interlocutor entre el equipo de arquitectos y los desarrolladores.
Toma de decisiones técnicas y selección de tecnologías
-Evaluar y seleccionar herramientas y frameworks de Big Data, AI y Machine Learning en función de los requisitos del negocio y la arquitectura establecida.
-Garantizar el uso eficiente de servicios en la nube (Azure Synapse, Databricks, Azure Machine Learning, etc.), bases de datos escalables y arquitecturas distribuidas.
-Definir estándares de diseño y desarrollo para flujos de datos, entrenamiento de modelos y despliegue en producción.
-Integrar prácticas de ingeniería de software en la construcción de soluciones de datos, incluyendo modularidad, patrones de diseño y eficiencia computacional.
Implementación de DevOps en Automatización
-Diseñar e implementar las prácticas de DevSecOps definidas dentro de Global MVM para el desarrollo de soluciones en Databricks y plataformas de procesamiento de datos en paralelo y masivo como Spark y similares.
-Automatizar despliegues de soluciones utilizando las herramientas de Azure DevOps, construyendo pipelines específicos para Databricks y otras plataforms de Big Data, ML y AI aumentando la batería de plantillas existentes para este tipo de soluciones.
-Garantizar la integración continua (CI) y el despliegue continuo (CD) en flujos de trabajo automatizados, mejorando la calidad y reduciendo el tiempo de entrega, utilizando como base las plantillas provistas por los equipos habilitadores de DevSecOps.
-Fomentar la colaboración entre equipos de desarrollo y operaciones para crear procesos automatizados estandarizados y replicables, mediante el uso y reutilización de la práctica de DevSecOps.
-Implementar pipelines de datos y modelos de ML con principios de DevSecOps, garantizando seguridad, versionamiento y trazabilidad de los modelos desplegados.
-Integrar prácticas de MLOps para la automatización del entrenamiento, validación y monitoreo de modelos.
-Promover el uso de Infrastructure as Code (IaC) para la automatización de entornos en la nube y la gestión eficiente de infraestructura.
-Implementar estrategias de seguridad en datos y modelos de IA, considerando el versionamiento seguro de modelos, control de accesos y mitigación de riesgos de sesgo en ML.
-Asegurar el cumplimiento de normativas y estándares de seguridad aplicables (ISO 27001, GDPR, HIPAA, etc.).
-Incorporar pruebas automatizadas en cada fase del ciclo de vida del desarrollo de datos y modelos de IA, con herramientas como pytest, Great Expectations, SonarQube y Kiuwan.
-Fomentar una cultura de Zero Trust y CI/CD seguro, integrando escaneo de vulnerabilidades, control de identidades y cifrado de datos sensibles
Gestión Estratégica de Licenciamiento y Optimización de Recursos
-Evaluar las opciones de aprovisionamiento de recursos disponibles en las plataformas de procesamiento de datos de gran escala, series de tiempos, real time analysis y herramientas asociadas a servicios de IA para recomendar las configuraciones costo-eficientes de acuerdo con las necesidades de la solución y cada ambiente disponible.
-Aportar a las arquitecturas con decisiones que maximicen el uso de los recursos disponibles dentro del esquema de licenciamiento apropiado, como el uso adecuado de modelos de IA, modelos de ML, tokenización, indexación e ingeniería de prompts.
-Monitorear el uso de licencias para evitar sobrecostos y garantizar que las implementaciones cumplan con los términos establecidos, así como diseñar soluciones que eviten el consumo masivo de conectores o servicios de alto costo.
-Colaborar con equipos financieros y de adquisiciones para planificar inversiones estratégicas en licencias y actualizaciones necesarias. · Mantenerse actualizado de las nuevas capacidades técnicas disponibles y definir la pertinencia y plan para adoptarlas en los proyectos.
Liderazgo Técnico y Colaboración Multidisciplinaria
-Guiar a los equipos técnicos de desarrollo en la implementación de soluciones de automatización, garantizando que cumplan con estándares de calidad, seguridad, rendimiento y las prácticas definidas dentro del equipo de la Gerencia de Ingeniería.
-Fomentar la adopción de buenas prácticas en desarrollo de soluciones de ciencia de datos y procesamiento de estos e integración con modelos de IA promoviendo un enfoque centrado en el usuario final y el aseguramiento de los atributos de calidad relevantes.
-Trabajar estrechamente con los equipos de negocio para identificar necesidades críticas y traducirlas en requisitos técnicos claros.
-Entrenar a los equipos de desarrollo de soluciones de Big Data + IA en la implementación de las mejores prácticas, seguimiento de lineamientos, políticas y principios que guían el buen desarrollo de las soluciones definidos al interior de la organización.
Supervisión de Implementaciones Complejas
-Asegurar la integración fluida de procesos automatizados con sistemas empresariales, soluciones disruptivas de los clientes y herramientas de apoyo para generar un balance de un buen valor agregado en cada servicio de implementación.
-Diseñar procesos avanzados que incluyan flujos automatizados, generación de datos en tiempo real y análisis avanzado mediante las herramientas adecuadas provistas por la plataforma.
-Monitorear y optimizar el rendimiento de los procesos automatizados, identificando oportunidades de mejora continua.
-Adoptar las herramientas de IA dentro de las soluciones de datos para robustecer las soluciones en la búsqueda de aumentar las posibilidades de generación de valor para los clientes y la extensibilidad de estas desde la base de modelos de IA y ML.
-Adoptar la integración de agentes de IA dentro de las arquitecturas de solución que involucran componentes de automatización e interfaces de usuario sobre las tecnologías de big data y procesamiento de datos para orquestar funcionalidades avanzadas en arquitecturas desacopladas.
-Desarrollar las Historias de Usuario (HUs) más complejas, estableciendo una línea base de construcción que sirva como referencia para el equipo de desarrollo.
-Asegurar la interoperabilidad de los modelos de datos e IA entre servicios, mediante la correcta integración con APIs, orquestación con Kubernetes y escalamiento en entornos cloud.
Evaluación de la Plataforma del Cliente
-Realizar auditorías técnicas de las plataformas actuales de los clientes, identificando dependencias críticas, riesgos y áreas de mejora tanto on-premise como en entornos híbridos o cloud.
-Entrevistar a los responsables técnicos y de negocio del cliente para comprender las necesidades, prioridades y restricciones específicas en cada proyecto o servicio de gestión de aplicaciones.
-Crear informes detallados sobre el estado actual de las plataformas y proponer estrategias personalizadas de modernización, racionalización, evolución, migración o retiro.
-Diseñar arquitecturas de plataforma de nube que se alineen con los objetivos comerciales y técnicos del cliente, así como su arquitectura de referencia, lineamientos y políticas de ciberseguridad, costos, elasticidad, escalabilidad y respaldo, considerando sus casos de uso específicos.
-Diseñar arquitecturas de plataforma e infraestructura que permitan una integración fluida con sistemas legados, aplicaciones de terceros y entornos on-premise y cloud del cliente.
Lo que requieres
Perfil
Profesional en Ingeniería de Sistemas, Ingeniería Electrónica o carreras afines, deseable posgrado en Ingeniería de Software o afines. Con Mínimo 6 años de experiencia como Líder Técnico. 6 años de experiencia en soluciones de Big Data 2 años en soluciones de AI.
Conocimientos en:
Toma de decisiones técnicas y selección de tecnologías.
-
Evaluar y seleccionar herramientas y frameworks de Big Data, AI y Machine Learning en función de los requisitos del negocio y la arquitectura establecida.
-
Garantizar el uso eficiente de servicios en la nube (Azure Synapse, Databricks, Azure Machine Learning, etc.), bases de datos escalables y arquitecturas distribuidas.
-
Definir estándares de diseño y desarrollo para flujos de datos, entrenamiento de modelos y despliegue en producción.
- Integrar prácticas de ingeniería de software en la construcción de soluciones de datos, incluyendo modularidad, patrones de diseño y eficiencia computacional
Conocimientos en DevOps y ALM
- Despliegues Automatizados: o Configuración de pipelines en Azure DevOps para proyectos en Databricks y tecnologías de IA. o Implementación de estrategias de gestión de versiones, integración continua y pruebas automatizadas.
- Gestión de Ciclo de Vida de Aplicaciones (ALM): o Uso de herramientas como MLFlow para gestionar el aprendizaje de los modelos en entornos de desarrollo, prueba y producción. o Planificación y ejecución de estrategias de rollback en caso de errores en producción.
Conocimientos deseables:
Big Data: Enfocado en la gestión, almacenamiento, procesamiento y gobernanza de grandes volúmenes de datos.
Infraestructura y Arquitectura de Datos Plataformas Cloud para Big Data:
- Azure Synapse
- Analytics
- Azure Data Lake
- Databricks
- AWS Redshift
- Google BigQuery.
Patrones de Arquitectura de Datos:
- Data Lakehouse
- Data Mesh
- Data Fabric
- Lambda y Kappa Architecture.
Almacenamiento y Procesamiento de Datos:
- Bases de datos relacionales: SQL Server, PostgreSQL, MySQL.
- Bases de datos NoSQL: Cosmos DB, MongoDB, Cassandra.
- Data Warehouses: Azure Synapse, Snowflake, Amazon Redshift.
- Procesamiento distribuido: Databricks, Apache Spark, Apache Flink, Dask.
- Estrategias de Ingesta y Streaming de Datos: Procesamiento en batch vs. procesamiento en streaming.
- Herramientas de ingesta: Azure Data Factory, AWS Glue, Apache NiFi.
- Procesamiento en tiempo real: Azure Stream Analytics, Kafka, Apache Flink.
Gobernanza, Seguridad y Cumplimiento de Datos
- Gobernanza de Datos: Implementación de Data Catalog (Azure Purview, Collibra), lineage y clasificación de datos.
- Cumplimiento Normativo: GDPR, CCPA, HIPAA, SOC 2.
Seguridad y Control de Acceso:
- Implementación de RBAC (Role-Based Access Control).
- Políticas de encriptación y mascarado de datos (Azure Key Vault, AWS KMS).
- Auditoría y monitoreo de acceso a los datos.
DevOps y Automatización en Big Data (DataOps)
- Infrastructure as Code (IaC): Terraform, Azure Bicep, ARM Templates, AWS CloudFormation.
- Automatización del ciclo de vida de datos: Apache Airflow, Prefect, Dagster.
- CI/CD en pipelines de datos: Implementación de GitOps, integración con herramientas como Azure DevOps.
Observabilidad y Optimización de Procesos de Datos
Monitoreo y Logging en Big Data:
- Azure Monitor, Datadog, Prometheus, Grafana.
- Integración de AIOps para predicción de fallos en pipelines de datos.
Optimización del Rendimiento:
- Indexación y particionamiento en bases de datos y almacenamiento.
- Ajuste de recursos en entornos cloud (autoscaling, spot instances).
Conocimientos en Inteligencia Artificial (AI) Enfocado en la construcción, entrenamiento, optimización y despliegue de modelos de Machine Learning (ML) y Deep Learning (DL), incluyendo técnicas avanzadas como vectorización e indexación para modelos generativos y LLMs. Fundamentos de Machine Learning y Deep Learning ·
Algoritmos Clásicos de ML:
- Regresión lineal y logística, árboles de decisión, random forest, gradient boosting (XGBoost, LightGBM, CatBoost).
Deep Learning:
- Redes neuronales convolucionales (CNN), redes recurrentes (RNN, LSTM, GRU), transformers (BERT, GPT).
Procesamiento de Lenguaje Natural (NLP):
- Tokenización, embeddings (Word2Vec, FastText, BERT), clasificación de texto, generación de texto.
Computer Vision:
- Detección de objetos, segmentación de imágenes, reconocimiento facial.
Indexación y Vectorización para Modelos de AI y LLMs
Vectorización de Datos:
- Uso de embeddings generados por modelos como Ada, Word2Vec, FastText, BERT, OpenAI Cohere, Hugging Face Transformers.
- Métodos de reducción de dimensionalidad: PCA, t-SNE, UMAP.
Motores de Búsqueda y Recuperación de Información: o
Indexación de documentos en bases de datos vectoriales:
- FAISS, Annoy, Weaviate, Milvus, ChromaDB.
- Implementación de técnicas de Retrieval-Augmented Generation (RAG) para mejorar la precisión en LLMs.
Bases de Datos Vectoriales:
- Uso de PostgreSQL con extensiones para vectores (pgvector).
- Integración con Azure Cognitive Search (AI Search), Elasticsearch, Pinecone.
Fine-Tuning y Adaptación de Modelos de AI
Fine-Tuning de Modelos de Machine Learning:
- Ajuste de hiperparámetros con Grid Search, Random Search, Optuna.
- Uso de técnicas como Transfer Learning y Few-Shot Learning para adaptar modelos preentrenados a nuevos dominios.
Fine-Tuning en LLMs:
- Implementación de LoRA (Low-Rank Adaptation) y QLoRA para optimizar fine-tuning en grandes modelos de lenguaje.
- Adaptación de modelos de OpenAI, Hugging Face, Llama 2, Mistral, Falcon en entornos privados o híbridos.
Herramientas para Fine-Tuning:
- TensorFlow, PyTorch, Hugging Face Transformers, DeepSpeed, FastAPI para servir modelos optimizados.
MLOps y Automatización del Ciclo de Vida de Modelos
Plataformas para el despliegue y gestión de modelos:
- Azure Machine Learning, AWS SageMaker, Google Vertex AI.
Automatización del entrenamiento y despliegue de modelos:
- MLflow, Kubeflow, TensorFlow Extended (TFX).
Infraestructura para modelos de AI:
- Uso de GPUs y TPUs en cloud.
- Kubernetes y servidores para inferencia (Triton, ONNX Runtime, TorchServe).
DevSecOps en AI
Integración de AI con DevSecOps:
- Automatización de pruebas en modelos de ML (unit tests, integration tests en pipelines de AI).
- Validación de seguridad en modelos y datos (ataques adversariales, auditoría de datasets).
CI/CD para Modelos de AI:
- Despliegues en contenedores con Docker y Kubernetes.
- GitOps para la gestión del código de AI (MLflow, DVC).
Competencias fundamentales / Soft Skills
- Es positivo, sereno y determinado ante el cambio: Posee Inteligente emocional y social.
- Vive en comunicación permanente de forma asertiva y cercana: comunicación efectiva saber escuchar, saber presentar, empatía, orientación al cliente.
- Impulsa la colaboración, el aprendizaje y la innovación: inquieto por aprender
- Actúa con perspectiva eco – sistémica: Liderazgo, empoderamiento y orientación a resultados
- Es sensible al riesgo y a las oportunidades: Es negociador y realiza análisis de información.
Tecnologías deseables:
Lenguajes y frameworks:
- Python
- Langchain
- PySpark
- Spark SQL
- Pandas
Kusto Databricks:
- Spark
- Databricks engine
- Unity Catalog
- Mosaic AI
- Delta Live Tables
- Delta Tables
- MLFlow
Azure:
Big Data:
- Azure Storage Account o Azure Synapse
- Azure Databricks
- Azure Purview
- Azure SQL Database
- Cosmos DB
IA:
- Azure AI Search
- Azure Open AI
- Azure Copilot
- Document Intelligence
- Custom Vision
Resultados esperados
- Adopción de tecnologías y herramientas adecuadas: Asegurar la correcta implementación de soluciones de Big Data e Inteligencia Artificial alineadas con las estrategias corporativas y principios de arquitectura.
- Liderazgo técnico y formación del equipo: Brindar mentoría y guiar al equipo de desarrollo en el diseño, implementación y optimización de soluciones de procesamiento de datos y modelos de IA.
- Automatización y eficiencia en despliegues: Implementar prácticas de DevSecOps y MLOps, optimizando flujos de trabajo con CI/CD y asegurando la seguridad, versionamiento y trazabilidad de los modelos desplegados.
- Optimización de costos y recursos: Evaluar y seleccionar herramientas y frameworks adecuados, garantizando una gestión eficiente de licencias y recursos en la nube para evitar sobrecostos. Colaboración con arquitectos y stakeholders
- Definir estrategias de modernización y migración de ecosistemas de datos: Asegurando la alineación con objetivos estratégicos y estándares de seguridad.
Condiciones deseables:
Debe tener disponibilidad para viajar por solicitud del cliente.