سری آموزش Apache Flink - دوره کامل Flink DataStream

Name: سری آموزش Apache Flink - دوره کامل Flink DataStream
Price: 26783000 IRR
Availability: InStock
Author: AI Academy

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

آشنایی کامل با Apache Flink
آشنایی با Stream API در Apache Flink
آشنایی با Resource Provider و حالت‌های استقرار Apache Flink
معماری داخلی Apache Flink
آشنایی با پنجره‌ها و Window Operator در Apache Flink
Watermarkها و استراتژی‌های Apache Flink
حالت توزیع‌شده و backend stores در Apache Flink
مقاومت در برابر خطای Jobها در Flink

پیش‌نیازهای دوره

Apache Hadoop (الزامی)
Java 1.8+ (الزامی)
فرمان های اولیه لینوکس (الزامی)
Apache Kafka (اختیاری)
فریم‌ورک Apache Kafka Streams (اختیاری)
Apache Maven (اختیاری)

توضیحات دوره

از شرکت شما در دوره بسیار سپاسگزاریم. این ویدیو آموزشی کامل در مورد Apache Flink نسخه 1.17.x است. در این ویدیو، به‌صورت جامع و از سطح پایه تا پیشرفته، به معرفی Flink و جزئیات کاربردی هر بخش از این فریم‌ورک خواهیم پرداخت.

Apache Flink یک فریم‌ورک و موتور پردازش توزیع‌شده برای محاسبات حالت‌مند روی داده جریانی با اندازه نامحدود و محدود است. Flink برای اجرا در تمامی محیط‌های کلاستر معمول طراحی شده و محاسبات را با سرعت حافظه و در هر مقیاسی انجام می‌دهد.

【ویژگی‌های دوره】

کد و مثال محور
تعداد زیادی کیس کاربردی
از مباحث ابتدایی تا پیشرفته
محتوای دوره جامع و فشرده
پوشش گسترده دانش فریم‌ورک Apache Flink
مثال‌های غنی و کاربردی

[سرفصل‌های دوره]

شروع سریع Apache Flink 1.17.2
توضیح مفصل حالت استقرار Job در Apache Flink 1.17.2
شرح دقیق معماری زمان اجرای Apache Flink 1.17.2
توضیح جامع DataStream API و توسعه اپلیکیشن های بلادرنگ در Apache Flink 1.17.2
شرح کامل Window API و توسعه اپلیکیشن های بلادرنگ در Apache Flink 1.17.2
ترجمه عمیق Watermark در Apache Flink 1.17.2 برای پردازش داده‌ دیررس و خارج از ترتیب
تشریح دقیق عملیات وضعیت‌دار و کاربرد آنها در Apache Flink 1.17.2
توضیح Checkpoints ،SavePoints و مفهوم Exactly Once در Apache Flink 1.17.2

امیدواریم این دوره را بپسندید. پس از گذراندن این دوره، شما به یک متخصص Apache Flink تبدیل خواهید شد و قادر خواهید بود اپلیکیشن های پردازش رویداد پیچیده و بلادرنگ را مبتنی بر Apache Flink بسازید.

این دوره برای چه کسانی مناسب است؟

مهندس کلان داده
توسعه‌دهنده کلان داده
معمار کلان داده

سری آموزش Apache Flink - دوره کامل Flink DataStream

فصل 1: معرفی دوره Apache Flink نسخه 1.17.2

سرفصل‌های دوره 03:43
پیش‌نیازها 01:47
هدف دوره 01:26

فصل 2: نصب کلاستر مستقل Apache Flink نسخه 1.17.2 و شروع سریع

معرفی سرفصل بخش 01:20
Apache Flink چیست (معرفی Apache Flink) 02:54
ویژگی‌های Apache Flink 04:11
موارد کاربرد Apache Flink 06:03
بررسی معماری Apache Flink 03:22
نصب کلاستر مستقل Apache Flink - بخش اول 08:25
نصب کلاستر مستقل Apache Flink - بخش دوم 06:34
نصب کلاستر مستقل Apache Flink - بخش سوم 02:02
راه‌اندازی محیط توسعه اپلیکیشن Apache Flink 03:19
پردازش داده‌ بسته‌ای با استفاده از DataSet API در Flink (جریانی محدود) 09:09
پردازش داده‌ بسته‌ای توسط DataStream API در Flink (جریانی محدود) 09:02
پردازش داده‌ بلادرنگ با DataStream API در Flink (جریانی نامحدود) 04:59
DataStream API و عبارت‌های Lambda در Java 8 06:35
ارسال Job به کلاستر مستقل Flink از طریق WebUI و خط فرمان 08:11

فصل 3: حالت‌های استقرار اپلیکیشن و Resource Providerها در Apache Flink نسخه 1.17.2

معرفی سرفصل بخش 01:34
مروری بر حالت‌های استقرار اپلیکیشن در Apache Flink 02:25
حالت استقرار اپلیکیشن در Apache Flink به صورت Session 03:40
حالت استقرار اپلیکیشن Apache Flink به روش Per-Job 02:43
حالت‌های استقرار اپلیکیشن در Apache Flink 02:54
حالت استقرار Session در کلاستر مستقل Flink 05:52
حالت استقرار اپلیکیشن در کلاستر مستقل Flink 04:39
آماده‌سازی کلاستر Apache Hadoop (Yarn) 05:22
حالت استقرار Session روی Resource Provider در Yarn 07:02
حالت استقرار Per-Job روی Resource Provider مربوط به Yarn 07:04
حالت استقرار اپلیکیشن روی Resource Provider در Yarn 06:38
بهترین شیوه های حالت استقرار اپلیکیشن روی Resource Provider در Yarn 05:44
پیکربندی و راه‌اندازی سرور تاریخچه Job در Flink 07:08

فصل 4: اصطلاحات کلیدی و معماری زمان اجرای Apache Flink نسخه 1.17.2

معرفی سرفصل بخش 02:07
معماری سطح بالا زمان اجرا و اجزای داخلی Apache Flink 06:11
عملگرها، تسک ها، Slotها و زیر تسک در Apache Flink 05:52
محیط محلی برای توسعه Apache Flink 09:01
موازی‌سازی عملگرهای Apache Flink 07:47
موازی‌سازی عملگرهای Apache Flink و اولویت‌بندی 07:33
زنجیره‌سازی عملگرها و توزیع تسک در Apache Flink 03:32
توضیح جزئیات وقوع زنجیره عملگر در Flink 03:56
رابط دقیق زنجیره عملگر در Apache Flink 06:25
بررسی تخصصی گروه‌های به‌اشتراک‌گذاری Slot در Apache Flink 05:41
بررسی عمیق روند اجرای Job در کلاستر مستقل به روش Session 04:46
بررسی عمیق روند اجرای Job در کلاستر Hadoop Yarn با حالت Per-Job 02:43
بررسی جریان اجرای Job در کلاستر Hadoop Yarn به روش Session 03:02
مرور کامل تبدیل‌های داده جریان در Flink (از ابتدا تا انتها) 05:58

فصل 5: DataStream API و برنامه‌نویسی در Apache Flink نسخه 1.17.2

معرفی سرفصل بخش 02:31
معرفی Source Connector در Flink 03:02
Source Connector در Flink - کانکتور منبع مجموعه‌های Java 06:17
کانکتور منبع Flink - آموزش DataGenerator Source Connector 05:48
کانکتور منبع Flink - آموزش Tcp Socket Source Connector 04:55
کانکتور منبع Flink - پردازش فایل‌های محلی با FileSource و StreamFormat 09:12
کانکتور منبع Flink - پردازش فایل‌های محلی با FileSource و BulkFormat 02:25
کانکتور منبع Flink - پردازش فایل‌های HDFS با FileSource و StreamFormat 06:23
کانکتور منبع Flink - خواندن رکوردهای Collection با Mongodb Source Connector 07:25
کانکتور منبع Flink - مصرف رکورد متنی توسط Kafka Source Connector 08:49
کانکتور منبع Flink - مصرف رکورد JSON توسط Kafka Source Connector 04:12
کانکتور منبع Flink - مصرف رکورد کلید-مقدار توسط Kafka Source Connector 07:41
کانکتور منبع Flink - سفارشی‌سازی کانکتور منبع با RichSourceFunction 08:15
کانکتور منبع Flink - سفارشی‌سازی کانکتور منبع با RichParallelSourceFunction 07:51
انواع داده و TypeInformation در Apache Flink 02:25
تبدیل‌های DataStream در Apache Flink 02:12
تبدیل‌های Map ،Filter و FlatMap در DataStream Apache Flink 06:54
عملگر keyBy و KeyedStream در Apache Flink DataStream 04:19
اعمال توابع تجمیع لغزان روی KeyedStream 06:54
اعمال تابع Reduce روی KeyedStream 04:30
تبدیل‌های چندجریانی - ادغام چند DataStream به یک DataStream با عملیات Union 04:10
تبدیل‌های چندجریانی - اتصال چند DataStream به یک DataStream 08:52
تبدیل‌های چندجریانی - اتصال چند DataStream کاربردی (Inner Join) 12:54
خروجی جانبی DataStream - تقسیم یک DataStream به چند DataStream 07:30
تعریف RichFunction سفارشی و مدیریت پارامترهای اپلیکیشن 08:16
استراتژی‌ها و الگوریتم‌های تبادل داده در Apache Flink 03:08
الگوریتم تقسیم‌بندی Forward 02:12
الگوریتم تقسیم‌بندی Shuffle 02:16
الگوریتم تقسیم‌بندی Rebalance 02:26
الگوریتم تقسیم‌بندی Broadcast 02:13
الگوریتم تقسیم‌بندی Global 01:53
الگوریتم تقسیم‌بندی KeyGroupStream 04:07
الگوریتم تقسیم‌بندی Rescale در Flink 02:48
الگوریتم تقسیم‌بندی سفارشی 02:57
چگونگی استفاده از Accumulator و Counters در اپلیکیشن Flink 05:12
معرفی کانکتورهای Sink در Flink 01:08
کانکتور Sink در Flink - TCP Socket Sink Connector 03:01
Sink Connector در Flink - نوشتن فایل متنی به‌صورت رولینگ در حافظه محلی 09:56
کانکتور Sink در Flink - نوشتن داده Avro به صورت رولینگ در حافظه محلی 09:25
کانکتور Sink در Flink - نوشتن داده‌ Parquet به صورت رولینگ در حافظه محلی 04:24
کانکتور Sink در Flink - نوشتن داده Avro به صورت رولینگ به HDFS 02:53
کانکتور Sink در Flink - نوشتن داده به پایگاه داده Mysql با JdbcSink 10:46
کانکتور Sink در Flink - ارسال پیام فقط مقدار به موضوع Kafka با KafkaSink 05:02
کانکتور Sink در Flink - ارسال پیام کلید-مقدار به Topic کافکا با KafkaSink 06:26
کانکتور Sink در Flink - ارسال پیام JSON به Topic کافکا با KafkaSink 04:34
کانکتور Sink در Flink - نوشتن داده به Collection در Mongodb با MongodbSink 06:24
چگونگی سفارشی‌سازی Sink Connector در Flink (رابط برنامه‌نویسی قدیمی) 07:55
چگونگی سفارشی‌سازی Sink Connector در Flink (رابط برنامه‌نویسی جدید) 05:09

فصل 6: عملگرهای مبتنی بر زمان و پنجره در Apache Flink نسخه 1.17.2

معرفی سرفصل بخش 01:30
مقایسه پنجره‌های کلیددار و بدون کلید در Flink 06:13
بررسی عمیق پیاده‌سازی پنجره بدون کلید در Flink 03:00
بررسی دقیق تعریف پنجره و Window Assigner در Flink 07:56
تعداد نوع پنجره‌های پشتیبانی‌شده در Apache Flink 04:17
بررسی چرخه عمر پنجره در Flink 03:34
WindowAssigner در Flink - آموزش TimeWindow قطع‌شونده 12:40
بررسی دقیق پیاده‌سازی TumblingProcessingTimeWindow 06:49
پنجره زمانی قطع‌شونده - محاسبه بیشینه دما در یک دقیقه گذشته 02:37
پنجره زمانی لغزشی - محاسبه بیشینه دما در یک دقیقه اخیر 04:03
پنجره زمانی Session - محاسبه بازدید صفحات وب در طول یک جلسه معتبر 05:52
GlobalWindow - فعال‌سازی محاسبه بر اساس شرط دلخواه 05:37
CountWindow - پیاده‌سازی شده با GlobalWindow 04:13
WindowedStream - معرفی توابع پنجره 01:41
WindowedStream - عملگر کاهش و تابع Reduce 05:31
WindowedStream - عملگر تجمیع و تابع Aggregate 11:34
WindowedStream - عملگر پردازش و ProcessWindowFunction 10:02
WindowedStream - اعمال Operator و WindowFunction (رابط برنامه‌نویسی قدیمی) 04:35
WindowedStream - ترکیب تابع کامل پنجره و تابع افزایشی 06:25
WindowedStream - جریان خروجی جانبی 04:01
WindowedStream - درک عمیق چگونگی عملکرد Trigger در WindowedStream - بخش اول 05:47
WindowedStream - درک عمیق چگونگی عملکرد Trigger در WindowedStream - بخش دوم 10:02
WindowedStream - درک عمیق چگونگی عملکرد Trigger در WindowedStream - بخش سوم 05:14
WindowedStream - تحلیل عمیق پیاده‌سازی Trigger در Flink 08:45
WindowedStream - سفارشی‌سازی Trigger و اتصال به GlobalWindow - بخش اول 18:43
WindowedStream - سفارشی‌سازی Trigger و اتصال به GlobalWindow - بخش دوم 07:27
WindowedStream - سفارشی‌سازی Evictor و اتصال به TimeWindow 07:08
معرفی Timer و TimerService در Flink 03:53
تایمر و TimerService در Flink - پیاده‌سازی Semantics کش‌شده 14:24

فصل 7: Watermarkها و برنامه‌نویسی در Apache Flink نسخه 1.17.2

معرفی سرفصل بخش 01:52
مفاهیم زمانی در Apache Flink 03:11
تفاوت زمان پردازش و زمان رویداد در Apache Flink 05:45
Watermark در Flink چیست؟ 04:29
بحث در مورد روش‌های تولید Watermarkها 04:51
عناصر خارج از ترتیب و داده‌ دیررس 09:04
مدیریت داده‌ خارج از ترتیب و داده‌ دیررس 10:07
استراتژی Watermark (TimestampAssigner و WatermarkGenerator) 04:10
مطالعه عمیق کد منبع Flink برای درک نحوه عملکرد Watermarkها 09:46
چگونه Watermark Generator در Flink را به روش دوره‌ای سفارشی کنیم؟ 07:10
چگونگی سفارشی‌سازی Watermark Generator در Flink به روش Punctuated 04:46
چگونگی عملکرد انتشار Watermark در Flink 12:17
منبع idle در Flink و چگونگی مدیریت منابع بلااستفاده 06:17
WindowedStream - مدیریت داده‌ دیررس مجاز 07:03
خروجی جانبی در WindowedStream برای رویدادهای دیررس جهت جلوگیری از از دست رفتن داده 05:15
عملیات اتصال دو پنجره و تمرین مربوطه در Flink 10:39
عملیات و تمرین ادغام بازه‌ای دو KeyedStream در Flink 11:07

فصل 8: عملگرهای حالت‌دار و کاربرد آنها در Apache Flink نسخه 1.17.2

معرفی سرفصل بخش 01:43
معرفی وضعیت و اپلیکیشن های حالت‌دار در Flink با مثال 03:50
مروری بر State API در Apache Flink 05:20
شرح و کاربرد عملی ValueState در وضعیت کلیددار Flink 08:59
وضعیت کلیددار در Flink - شرح و کاربرد عملی ReducingState 03:48
وضعیت کلیددار در Flink - شرح و کار عملی AggregatingState 06:05
تشریح و کاربرد ListState در Flink و پیاده‌سازی اپلیکیشن TopN 10:32
وضعیت کلیددار در Flink - شرح و کاربرد عملی MapState 07:03
فعال‌سازی Time To Live (TTL) در وضعیت کلیددار 11:02
حالت عملگر و طرح‌های توزیع مجدد حالت در Flink 06:03
کاربرد عملی حالت عملگر در Flink با پیاده‌سازی Stateful Source Function - بخش اول 07:35
کاربرد عملی حالت عملگر در Flink با پیاده‌سازی Stateful Source Function - بخش دوم 08:47
تشریح جزئیات و کاربرد عملی حالت Broadcast در Flink (بروزرسانی پیکربندی پویا) 11:46
معرفی Backend در Flink - HashmapStateBackend 07:30
معرفی Backend در Flink - EmbeddedRocksDBStateBackend 07:25
پرسش و پاسخ‌های مرتبط با حالت در Flink 02:58

فصل 9: Checkpoints ،Savepoints، بازیابی وضعیت و EOS در Apache Flink نسخه 1.17.2

معرفی سرفصل بخش 02:39
معرفی Checkpoints همگن در Flink 02:35
الگوریتم Checkpoints همگن در Flink - Checkpoints فوری 05:27
الگوریتم Checkpoints همگن در Flink - ثبت دوره‌ای Checkpoints 03:21
الگوریتم Checkpoints همگن در Flink - الگوریتم Chandy-Lamport 10:20
Checkpoints در Flink و هماهنگ‌کننده Checkpoints در JobManager 03:47
شرح جزئی نحوه فعال‌سازی Checkpoints در Flink و پیکربندی‌های اولیه 12:43
تراز بندی Barrierهای Checkpoint در اپلیکیشن Flink و پیکربندی Semantics دقیقاً یک‌بار 05:41
تراز بندی barrierهای Checkpoint و پیکربندی Semantics حداقل یک‌بار در اپلیکیشن Flink 03:31
تراز نبودن barrierهای Checkpoint در اپلیکیشن Flink و پیکربندی Semantics دقیقاً یک‌بار (Exactly Once) 04:04
معرفی Savepoints در Flink و بازگردانی وضعیت اپلیکیشن از آنها 05:09
نحوه استفاده از Savepoints هنگام ادامه اجرای اپلیکیشن Flink 11:16
فعال‌سازی فرآیند Savepoint در هنگام توقف Job در Flink 11:53
تعیین شناسه‌های یکتا برای عملگرها 04:17
تفاوت بین Checkpoints و Savepoints در Flink 02:00
طراحی و پیاده‌سازی اپلیکیشن Flink با Semantics دقیقاً یک‌بار از ابتدا تا انتها 06:05
کاربرد Semantics دقیقاً یک‌بار از ابتدا تا انتها در Flink - آموزش Sink با نوشتن یکتا 03:28
اپلیکیشن Semantics دقیقاً یک‌بار End-to-End در Flink - آموزش Sink عمومی WAL 07:23
اپلیکیشن Semantics دقیقاً یک‌بار End-to-End در Flink - آموزش Sink با Two Phase Commit 08:28
آزمایش EOS در Flink: یکپارچه‌سازی Flink با Kafka - قسمت اول 11:02
آزمایش EOS در Flink: یکپارچه‌سازی Flink با Kafka - قسمت دوم 08:04
آزمایش EOS در Flink: یکپارچه‌سازی با Kafka - قسمت سوم 06:56
مشخصات API جدید کانکتورهای منبع داده در Apache Flink 03:56
سفارشی‌سازی کانکتور منبع داده Apache Flink با API جدید - بخش اول 11:26
سفارشی‌سازی کانکتور منبع داده Apache Flink با API جدید - بخش دوم 11:21
سفارشی‌سازی کانکتور منبع داده Apache Flink با API جدید - بخش سوم 09:31