Khóa học thực hành này cung cấp các khái niệm chính và kiến thức mà các nhà phát triển cần để cải thiện hiệu suất của các ứng dụng Apache Spark của họ. Trong quá trình học, các học viên sẽ học cách xác định các nguồn gốc phổ biến của hiệu suất kém trong các ứng dụng Spark, các kỹ thuật để tránh hoặc giải quyết chúng, và các quy ước tốt nhất cho việc giám sát ứng dụng Spark.
Khóa học “ Apache Spark Application Performance Tuning” trình bày kiến trúc và các khái niệm đằng sau Apache Spark và nền tảng dữ liệu cơ bản, sau đó xây dựng trên sự hiểu biết cơ bản này bằng cách dạy cho học viên cách tinh chỉnh mã ứng dụng Spark.
Khóa học nhấn mạnh vào các bài giảng của giảng viên để mô tả vấn đề hiệu suất và các kỹ thuật giải quyết chúng, tiếp theo là các bài tập thực hành để học viên có cơ hội thực hành những gì họ đã học thông qua một môi trường tương tác.
Sau khi hoàn thành khoá học, học viên sẽ đạt được những kiến thức và kinh nghiệm sau:
Khóa học này được thiết kế cho các nhà phát triển phần mềm, kỹ sư và nhà khoa học dữ liệu.
Khóa học này được thiết kế cho các nhà phát triển phần mềm, kỹ sư và nhà khoa học dữ liệu có kinh nghiệm phát triển các ứng dụng Spark và muốn tìm hiểu cách cải thiện hiệu suất code của họ. Đây không phải là khoá học để giới thiệu về Spark.
Học viên khi tham gia cần hiểu về các ví dụ về Spark và các bài tập thực hành được trình bày bằng Python và khả năng lập trình bằng ngôn ngữ này.
Học viên nên có kiến thức cơ bản với dòng lệnh Linux và kiến thức cơ bản về SQL
Module 1: Kiến trúc Spark
Module 2: Nguồn dữ liệu và Định dạng
Module 3: Suy luận Schema
Module 4: Xử lý dữ liệu lệch
Module 5: Tổng quan Catalyst và Tungsten
Module 6: Giảm thiểu Spark Shuffles
Module 7: Bảng Partitioned và Bảng Bucketed
Module 8: Cải thiện hiệu suất với hàm Join
Module 9: Chi phí phụ thuộc vào Pyspark và UDFs
Module 10: Lưu trữ Cache để tái sử dụng
Module 11: Giới thiệu Workload XM (WXM)
Module 12: Những điều mới trong Spark 3.0?
Phụ lục A: Xử lý Phân vùng
Phụ lục B: Broadcast
Phụ lục C: Lên lịch trình
Học viên vui lòng liên hệ với Tư vấn viên qua mục chat trên website hoặc gọi đến số 024 3771 0668 để được tư vấn chi tiết về lộ trình học tập và chi phí!
(024) 3771 0668
