مسترکلاس Apache Beam و Dataflow سال 2026

آنچه یاد خواهید گرفت:

• به مبانی Apache Beam مسلط شوید: مفاهیمی مانند پایپ لاین‌، PCollection ،PTransform و پردازش داده دسته‌ای و جریانی را درک کنید.
• تبدیل‌های ضروری Beam را اعمال کنید: Map، FlatMap ،Filter ،ParDo ،GroupByKey ،CoGroupByKey ،Flatten ،Partition و Combine.
• با استفاده از تبدیل‌های کامپوزیت، ورودی‌های جانبی و خروجی‌های جانبی، پایپ لاین‌های داده پیچیده بسازید.
• پایپ لاین‌ها را روی Google Cloud Dataflow اجرا کنید: پایپ لاین‌ Beam خود را روی Dataflow اجرا، اجرا را نظارت و مصرف منابع ابری را بهینه کنید.
• Apache Flink را با Beam یکپارچه کنید: داده جریانی و رویدادهای بلادرنگ را برای تحلیل‌های پربازده پردازش کنید.
• تجمیع و تحلیل داده: از Max ،Min ،Sample ،Sum، Top و غیره برای ترکیب و پردازش داده‌ استفاده کنید.
• پایپ لاین‌ها را اشکال‌زدایی، تست و بهینه کنید: عملکرد، قابلیت اطمینان و کیفیت داده را در گردش‌کارهای آماده تولید تضمین کنید.
• پروژه‌های واقعی را گام به گام پیاده کنید تا تجربه عملی ساخت پایپ لاین‌های سرتاسری Beam با مجموعه‌داده واقعی به دست آورید.
• مهارت‌های مهندس داده GCP را توسعه دهید: برای حرفه‌ای در مهندسی داده ابری، با مجموعه‌ای از پایپ لاین‌های آماده تولید، مهارت کسب کنید.
• با چندین محیط برنامه‌نویسی کار کنید: از Apache Beam در برنامه‌نویسی Java و Python، شامل سریال‌سازی، ایمنی نوع و پیکربندی پروژه استفاده کنید.

پیش‌نیازهای دوره

• دانش اولیه Python

توضیحات دوره

یاد بگیرید چگونه با استفاده از Apache Beam، پایپ لاین‌های داده مقیاس‌پذیر بسازید و جریان داده در سیستم‌های مدرن مهندسی داده چگونه کار می‌کند؛ از جمله مفاهیمی که در محیط‌های Google Cloud Platform به کار می‌روند.

این دوره برای دانشجویانی طراحی شده است که می‌خواهند Apache Beam را از ابتدا به طور کامل فرا بگیرند و همچنین طراحی و پیاده‌سازی پایپ لاین‌های کارآمد جریان داده را بیاموزند. در این دوره، دانشجویان تجربه عملی ساخت پایپ لاین‌های داده دسته‌ای و جریانی ا به دست می‌آورند و همچنین یاد می‌گیرند که جریان داده در این تبدیل‌ها چگونه کار می‌کند.

با توجه به اینکه این دوره تمرکز زیادی بر یادگیری عملی دارد، دانشجویان می‌توانند تجربه عملی ساخت پایپ لاین‌های Apache Beam را با استفاده از Python و Google Colab به دست آورند و همچنین درک کنند که این پایپ لاین‌ها چگونه با Google Cloud Platform و Dataflow کار می‌کنند.

آنچه یاد خواهید گرفت

• به مبانی Apache Beam، از جمله پایپ لاین‌ها، PCollections و PTransforms مسلط شوید
• مبانی Dataflow، از جمله مفاهیم Dataflow و جریان داده در پایپ لاین‌ها را درک کنید.
• پایپ لاین‌های Dataflow مقیاس‌پذیر را با Apache Beam توسعه دهید.
• به تبدیل‌های اولیه ، از جمله Map ،FlatMap ،Filter و Do مسلط شوید.
• به تبدیل‌های پیشرفته، از جمله GroupByKey، CoGroupByKey ،Flatten ،Partition و Combine مسلط شوید.
• به تجمیع داده با Max ،Min ،Sum ،Top ،Sample و غیره مسلط شوید.
• به استفاده از ورودی‌های جانبی و خروجی‌های جانبی در پایپ لاین‌ داده Apache Beam مسلط شوید.
• به طراحی پایپ لاین‌های داده ماژولار با کمک تبدیل‌های کامپوزیت مسلط شوید.
• به فرآیند اشکال‌زدایی و بهینه‌سازی پایپ لاین‌ داده Apache Beam مسلط شوید.

کار عملی با مفاهیم Dataflow در Apache Beam

این دوره کاملاً عملی است و بر توسعه مهارت‌های واقعی تمرکز دارد:

• یاد بگیرید چگونه پایپ لاین‌های Apache Beam را گام به گام بسازید.
• با نمونه‌های واقعی پردازش داده کار کنید.
• درک کنید پایپ لاین‌های Dataflow چگونه مقیاس می‌گیرند.
• کار با Python در Google Colab را شروع کنید.
• یاد بگیرید این مفاهیم چگونه در محیط‌های Google Cloud Platform و Dataflow به کار می‌روند.

چرا Apache Beam و Dataflow را یاد بگیریم؟

Apache Beam یک مدل برنامه‌نویسی یکپارچه و قدرتمند برای ساخت پایپ لاین‌های داده دسته‌ای و جریانی است. درک مفاهیم Dataflow به شما امکان می‌دهد سیستم‌های مقیاس‌پذیری بسازید که در مهندسی داده مدرن و Google Cloud Platform کاربرد دارند.

این مجموعه مهارت برای موارد زیر کاربرد دارد:

• مهندسان داده
• مهندسان بک‌اند که با داده کار می‌کنند.
• هر کسی که به سیستم‌های Dataflow علاقه‌مند است.
• افرادی که قصد دارند متخصص Google Cloud Platform شوند.

چرا این دوره متمایز است؟

• یادگیری ساختاریافته گام به گام: از مبتدی تا پیشرفته
• پیاده‌سازی عملی
• پوشش طراحی واقعی پایپ لاین‌های Dataflow
• تمرکز بر مهارت‌های عملی و مناسب بازار کار

همین حالا در این دوره شرکت کنید!!!

این دوره برای چه کسانی مناسب است؟

• مهندسان داده تازه‌کار و فعال که می‌خواهند Apache Beam و Google Cloud Dataflow را برای پروژه‌های واقعی فرا بگیرند.
• متقاضیان شغل مهندس داده GCP که به دنبال تجربه عملی در ساخت پایپ لاین‌های دسته‌ای و جریانی در ابر هستند.
• متخصصان کلان داده و تحلیل که می‌خواهند یاد بگیرند چگونه Apache Flink را با Beam برای پردازش داده بلادرنگ یکپارچه کنند.
• توسعه‌دهندگان نرم‌افزار و برنامه‌نویسانی که می‌خواهند دانش خود را به مهندسی داده با پایپ لاین‌های Java و Python گسترش دهند.
• دانشجویان و علاقه‌مندان به فناوری که به دنبال کسب تجربه عملی در پایپ لاین‌های سرتاسری داده و سناریوهای گردش‌کار ابری هستند.