En esta última parte de la serie de cursos de Dataflow, presentaremos los componentes del modelo operativo de Dataflow. Examinaremos las herramientas y técnicas que permiten solucionar problemas y optimizar el rendimiento de las canalizaciones. Luego, revisaremos las prácticas recomendadas de las pruebas, la implementación y la confiabilidad en relación con las canalizaciones de Dataflow.
Class Deals by MOOC List - Click here and see Coursera's Active Discounts, Deals, and Promo Codes.
Concluiremos con una revisión de las plantillas, que facilitan el ajuste de escala de las canalizaciones de Dataflow para organizaciones con cientos de usuarios. Estas clases asegurarán que su plataforma de datos sea estable y resiliente ante circunstancias inesperadas.
What You Will Learn
- Realizar actividades de supervisión, solución de problemas, pruebas y CI/CD en las canalizaciones de Dataflow.
- Implementar canalizaciones de Dataflow pensando en la confiabilidad para maximizar la estabilidad de su plataforma de procesamiento de datos.
Syllabus
WEEK 1
Introducción
En este módulo, se aborda la descripción del curso.
Monitoring
En este módulo, aprenderemos a usar la página Lista de trabajos para filtrar los trabajos que deseamos supervisar o investigar. Observaremos cómo las pestañas Gráfico del trabajo, Información del trabajo y Métricas del trabajo brindan en conjunto un resumen completo de su trabajo de Dataflow. Por último, aprenderemos a usar la integración de Dataflow en el Explorador de métricas a fin de crear políticas de alertas para métricas de Dataflow.
Informes de errores y registros
En este módulo, aprenderemos a usar el panel Registro ubicado al final de las páginas Grafo de trabajo y Métricas del trabajo, y sobre la página Informes de errores centralizada.
Solución de problemas y depuración
En este módulo, aprenderemos a depurar canalizaciones de Dataflow y solucionar sus problemas. También revisaremos los cuatro modos habituales de fallas de Dataflow: falla en la compilación de canalizaciones, falla en el inicio de la canalización de Dataflow, falla en la ejecución de canalizaciones y problemas de rendimiento.
WEEK 2
Rendimiento
En este módulo, analizaremos las consideraciones de rendimiento que se deben tener presentes cuando se desarrollan canalizaciones por lotes y de transmisión en Dataflow.
Testing y CI/CD
En este módulo, analizaremos cómo realizar pruebas de unidades de las canalizaciones de Dataflow. También presentaremos los frameworks y las funciones disponibles a fin de optimizar su flujo de trabajo de CI/CD para las canalizaciones de Dataflow.
Confiabilidad
En este módulo, analizaremos métodos para compilar sistemas que sean resilientes ante la corrupción de datos y las interrupciones de los centros de datos.
Plantillas Flexibles
En este módulo, se abordan las plantillas flexibles, una función que ayuda a los equipos de ingeniería a estandarizar y reutilizar el código de las canalizaciones de Dataflow. Muchos desafíos operativos se pueden solucionar con las plantillas flexibles.
Resumen
En este módulo, se revisan los temas abordados en el curso.
