Objetivo general
Diseñar y ejecutar procesos de transformación y análisis de grandes volúmenes de datos con Apache Spark y PySpark, aplicando buenas prácticas de rendimiento y modelos de Machine Learning distribuidos.
Al finalizar serás capaz de
- Comprender la arquitectura de la computación distribuida
- Transformar datos con DataFrames y Spark SQL
- Optimizar trabajos mediante particiones, caché y planes de ejecución
- Entrenar modelos con MLlib sobre datos masivos
Tres módulos, 24 horas de estudio
Objetivo del módulo
Comprender cómo se procesan datos masivos de forma distribuida.
Contenidos
- Computación distribuida y el modelo de Spark
- Driver, ejecutores, particiones y evaluación perezosa
- Formatos columnares Parquet y Delta
- Data lake y arquitectura lakehouse
Experiencia práctica
Simulador de clúster: reparte tareas entre nodos y observa el efecto de las particiones en el tiempo de ejecución.
Objetivo del módulo
Construir procesos de transformación eficientes sobre grandes volúmenes de datos.
Contenidos
- Lectura, limpieza y transformación de DataFrames
- Joins, agregaciones y funciones de ventana
- Spark SQL y vistas temporales
- Optimización: shuffle, broadcast, caché y plan de ejecución
Experiencia práctica
Actividad: pipeline de limpieza de un registro de transacciones de varios millones de filas.
Objetivo del módulo
Entrenar y evaluar modelos predictivos sobre datos masivos.
Contenidos
- Pipelines y transformadores en MLlib
- Ingeniería de variables a escala
- Entrenamiento, validación y selección de modelos
- Orquestación y programación de procesos
Experiencia práctica
Escenario ramificado: el proceso nocturno excede su ventana de tiempo y debes encontrar el cuello de botella.
Lo que encontrarás en cada módulo
Simulador interactivo
Laboratorio virtual para manipular variables y ver resultados en tiempo real.
Videos explicativos
Cápsulas que desarrollan paso a paso los conceptos más exigentes.
Podcast por módulo
Repaso en audio de los conceptos clave para escuchar donde quieras.
Notebooks y código
Plantillas de trabajo listas para ejecutar y adaptar a tus datos.
Actividades evaluadas
Ejercicios aplicados con retroalimentación inmediata.
Escenarios ramificados
Decisiones con consecuencias: cada elección abre un camino distinto.
¿A quién está dirigido?
Perfil: Ingenieros informáticos, ingenieros de datos y analistas que trabajan con grandes volúmenes.
Conocimientos previos: Python intermedio y SQL básico.
Cursos relacionados
Datos e IAIntermedio · 24 horasMachine Learning para Decisiones de Negocio
- M1Del problema de negocio al modelo
- M2Modelos supervisados para predecir y clasificar
- M3Evaluación, interpretación y valor económico
Datos e IAIntermedio · 24 horasModelos Predictivos del Valor Inmobiliario y la Plusvalía
- M1Datos del mercado inmobiliario
- M2Modelos de valoración
- M3Proyección de plusvalía en el tiempo
EstadísticaIntermedio · 24 horasSeries de Tiempo y Pronóstico de Demanda con Python
- M1Anatomía de una serie de tiempo
- M2Modelos clásicos de pronóstico
- M3Pronóstico aplicado a la operación
Da el siguiente paso en tu formación
Inscríbete en Big Data con PySpark: Procesamiento de Datos a Escala y comienza hoy, a tu ritmo y desde cualquier dispositivo.