DATA ENGINEERING FUNDAMENTALS – Өгөгдлийн урсгалаас Data Warehouse хүртэл

Байгууллага бүр өгөгдөлтэй. Харин тэр өгөгдлийг цуглуулж, цэвэрлэж, найдвартай хадгалаад, шинжээч болон AI-д бэлэн болгодог хүн бол Data Engineer юм. Энэ ном таныг өгөгдлийн үндсэн ойлголтоос эхлүүлж, бодит production түвшний data platform бүтээх хүртэл алхам алхмаар хөтөлнө.

Энэхүү цахим сурах бичигт SQL болон Python ашиглан өгөгдлийн pipeline бичих, data modeling болон SCD, ETL/ELT загварууд, Data Warehouse, Data Lake ба Lakehouse архитектур багтсан. Мөн dbt, Apache Airflow, Docker, Apache Spark, Kafka зэрэг салбарын стандарт хэрэгслүүдийг практик жишээгээр заана. Ахисан хэсэгт data quality, observability, CI/CD ба DataOps, cloud platform, зардлын оновчлол, data governance, мөн ML болон AI-д зориулсан data engineering-ийг хамарна.

Хэнд зориулсан бэ?

• Data Engineer болох зорилготой хүмүүс
• SQL болон Python суурьтай мэргэжилтнүүд
• Програм хөгжүүлэгчид
• Байгууллагынхаа өгөгдлийн дэд бүтцийг бий болгох гэж буй мэргэжилтнүүд.

Дагалдах зүйлс

• Тус номонд ашиглагдсан өгөгдөл, кодуудыг татаж аваад өөрийн компьютер дээрээ дагаж хийх боломжтой.
• Хавсралт файлд оруулсан чухал хэрэгтэй ойлголтуудыг нэгтгэсэн Cheat Sheet-г татаж авах боломжтой.