Google Cloud Training

Data Integration with Cloud Data Fusion

Who this course is for

Data Engineer

Data Analysts

เนื้อหาการเรียน

MODULE

OBJECTIVE

 1) Introduction to data integration and Cloud Data Fusion

  • Understand the need for data integration

  • List the situations/cases where data integration can help businesses

  • List the available data integration platforms and tools,

  • Identify the challenges with data integration

  • Understand the use of Cloud Data Fusion as a data integration platform

  • Create a Cloud Data Fusion instance

  • Familiarize with core framework and major components in Cloud Data Fusion

2) Building pipelines

  • Understand Cloud Data Fusion architecture

  • Define what a data pipeline is

  • Understand the DAG representation of a data pipeline

  • Learn to use Pipeline Studio and its components

  • Design a simple pipeline using Pipeline Studio

  • Deploy and execute a pipeline

3) Designing complex pipelines

  • Perform branching, merging, and join operations

  • Execute pipeline with runtime arguments using macros

  • Work with error handlers

  • Execute pre- and post-pipeline executions with help of actions and notifications

  • Schedule pipelines for execution

  • Import and export existing pipelines

4) Pipeline execution environment

  • Understand the composition of an execution environment

  • Configure your pipeline’s execution environment, logging, and metrics

  • Understand concepts like compute profile and provisioner

  • Create a compute profile

  • Create pipeline alerts

  • Monitor the pipeline under execution

5) Building Transformations and Preparing Data with Wrangler

  • Understand the use of Wrangler and its main components

  • Transform data using Wrangler UI

  • Transform data using directives/CLI methods

  • Create and use user-defined directives

6) Connectors and streaming pipelines

  • Connectors

  • DLP

  • Reference architecture for streaming applications

  • Building streaming pipelines

7) Metadata and data lineage

  • List types of metadata

  • Differentiate between business, technical, and operational metadata

  • Understand what data lineage is

  • Understand the importance of maintaining data lineage

  • Differentiate between metadata and data lineage

รู้จัก Instance Group และ Scaling Instances บน Google Cloud Platform

Instance Group เป็น Service หนึ่งที่อยู่บน Google Cloud Platform โดย Instance Group คือ กลุ่มของ VM Instance ที่สามารถมี VM ได้หลายเครื่องในหนึ่งกลุ่ม โดยเราจะมองว่า Instance Group คือก้อนๆหนึ่งที่มี VM หลายๆเครื่องอยู่ข้างใน เวลาจะจัดการหรือเปลียนแปลง VM ที่อยู่ข้างในสามารถจัดการได้ผ่าน Instance Group ที่เดียวเลย ทำให้ง่ายต่อการจัดการ

Continue reading

ทำ CI/CD ด้วย GitHub Actions และ Cloud Build

ในบทความนี้เราจะใช้ Github Actions สร้าง Release อัตโนมัติ ร่วมกับ Cloud Build ให้ build และ deploy อัตโนมัติทุกครั้งที่เรา push ขึ้น GitHub

Continue reading

สร้าง Data Pipeline ด้วย Google Cloud

วันนี้ทีม Cloud Ace ขอมาสรุปให้ฟังกันว่า Data Pipeline คืออะไร แล้วเราจะทำบน Google Cloud ต้องทำยังไง ใช้เครื่องมืออะไรบ้าง โดย Cloud Ace Thailand

Continue reading
.