پایپ‌لاین داده جریانی از Confluent Kafka به AWS MYSQL DB

آنچه یاد خواهید گرفت:

• دوره عملی برای یادگیری استفاده از پلتفرم‌های Confluent Kafka و AWS Cloud
• یادگیری مبانی ناوبری و استفاده از سرویس‌های پلتفرم ابری AWS مانند Lambda ،RDS-MYSQL ،IAM ،Cloudwatch ،Secrets Manager و موارد دیگر
• یادگیری مبانی پلتفرم Confluent و بررسی اجمالی سرویس‌هایی مانند: Topics، Connectors ،API Keys ،Clusters و موارد دیگر
• مشاهده و یادگیری ساخت پایپ‌لاین جریان داده بلادرنگ از Confluent به AWS RDS با استفاده از پردازش Serverless Lambda بر روی حساب‌های AWS و Confluent

پیش نیازهای دوره

• امکان ایجاد حساب کاربری در پلتفرم ابری AWS (نسخه رایگان/Free Tier)
• امکان ایجاد حساب کاربری در پلتفرم Confluent Kafka
• درک اولیه از پایتون

توضیحات دوره

در این دوره عملی، شرکت‌کنندگان گام‌به‌گام برای ساخت یک پایپ‌لاین جریان داده بلادرنگ پیش خواهند رفت که داده‌ها را از Confluent Kafka به AWS Lambda و در نهایت به یک پایگاه داده AWS RDS MySQL ارسال می‌کند. این دوره برای ارائه مهارت‌های عملی و واقعی طراحی شده است و با مرور هر جزء از معماری، اطمینان حاصل می‌کند که فراگیران نه تنها مفاهیم را درک می‌کنند، بلکه آن‌ها را مستقیماً در یک محیط ابری به کار می‌گیرند.

در سمت AWS، شرکت‌کنندگان تجربه کار با چندین سرویس مهم را کسب خواهند کرد، از جمله AWS IAM برای ایمن‌سازی منابع، AWS Secrets Manager برای مدیریت اعتبارنامه‌های حساس، و AWS CloudWatch برای نظارت و ثبت وقایع پایپ‌لاین داده در حال اجرا. این سرویس‌ها برای ساخت برنامه‌های کاربردی ایمن، مقیاس‌پذیر و قابل اعتماد در فضای ابری ضروری هستند.

در سمت Confluent Kafka، فراگیران یک کلاستر Kafka کاملاً مدیریت‌شده را راه‌اندازی می‌کنند، Topicها را برای جریان پیام ایجاد می‌کنند و یک Source Connector کاملاً مدیریت‌شده را برای شبیه‌سازی دریافت داده‌های واقعی پیکربندی می‌کنند. این کار به شرکت‌کنندگان تجربه ارزشمندی از زیرساخت Kafka در سطح سازمانی می‌دهد، بدون اینکه درگیر سربار مدیریت پلتفرم شوند.

در پایان این دوره، شرکت‌کنندگان یک پایپ‌لاین فعال و مقیاس‌پذیر خواهند ساخت، بینش‌هایی در مورد معماری‌های Cloud-native کسب خواهند کرد و تجربه عملی به دست خواهند آورد که می‌تواند مستقیماً در پروژه‌های واقعی یا نقش‌های حرفه‌ای به کار گرفته شود.

این دوره برای مهندسان ابر تازه‌کار، مهندسان داده سطح متوسط، مالکان محصول، مدیران محصول، اسکرام مسترها و رهبران فناوری مناسب است که به دنبال کسب تجربه عملی در ساخت پایپ‌لاین جریان داده بلادرنگ هستند.

این دوره برای چه کسانی مناسب است؟

• توسعه‌دهندگان ابر مبتدی که به دنبال ایجاد مهارت‌های توسعه پایپ‌لاین داده بلادرنگ و افزودن یک پروژه واقعی به رزومه خود هستند.
• توسعه‌دهندگان ابر سطح متوسط تا ارشد برای کسب سریع درک ساخت پایپ‌لاین‌های جریان داده بلادرنگ با استفاده از پلتفرم‌های AWS و Confluent
• مالکان محصول که به دنبال درک قابلیت‌ها، خطرات و مسائل موجود در ساخت پایپ‌لاین داده با استفاده از پلتفرم AWS و Confluent Kafka هستند.
• مدیران محصول که به دنبال درک قابلیت‌ها، خطرات و مسائل موجود در ساخت پایپ‌لاین داده با استفاده از پلتفرم AWS و Confluent Kafka هستند.
• رهبران فناوری که به دنبال تعمیق درک خود از قابلیت‌ها، تلاش‌ها، خطرات و مسائل موجود در ساخت پایپ‌لاین داده با استفاده از پلتفرم AWS و Confluent Kafka هستند.
• معماران راهکار که به دنبال ساخت عملی پایپ‌لاین داده با استفاده از پلتفرم‌های AWS MySQL DB و Confluent Kafka هستند.