ساخت داشبورد داده بلادرنگ با AWS، پایتون، کافکا و Grafana

آنچه یاد خواهید گرفت:

• ساخت یک داشبورد داده بلادرنگ کاملاً کاربردی از ابتدا، بدون نیاز به هیچ تجربه قبلی
• به صورت گام‌به‌گام یاد می‌گیرید چگونه با AWS EC2، کافکا، PostgreSQL، پایتون و Grafana داده لایو را جمع‌آوری، استریم، ذخیره، تحلیل و مصورسازی کنید.
• فرمان‌های ضروری لینوکس را یاد می‌گیرید، با APIهای پایتون داده واقعی جمع‌آوری می‌کنید و با تحلیل مجموعه‌داده‌های لایو و در حال استریم، در اس کیوال اولیه اعتمادبه‌نفس پیدا می‌کنید.
• یک پروژه تحلیل بلادرنگ می‌سازید تا در پورتفولیوی فنی خود نمایش دهید.
• تجربه عملی با AWS EC2، کافکا، پایتون، اس کیوال، PostgreSQL و Grafana بدست می‌آورید.

پیش‌نیازهای دوره

• پیش‌نیاز سخت‌گیرانه‌ای وجود ندارد، این دوره برای افراد مبتدی طراحی شده است.

توضیحات دوره

این دوره برای مبتدیان مطلق و یادگیرندگان اولیه طراحی شده است که می‌خواهند داده بلادرنگ را درک کنند، بدون اینکه به هیچ پیش‌زمینه‌ای در حوزه ابر، مهندسی یا برنامه‌نویسی نیاز داشته باشند.

اگر همیشه کنجکاو بوده‌اید که AWS، کافکا، PostgreSQL، پایتون یا داشبوردهای Grafana چگونه کار می‌کنند، این دوره ساده‌ترین و کاربردی‌ترین راه برای شروع است. شما یک مسیر روشن و گام‌به‌گام را دنبال می‌کنید و یک داشبورد کامل و بلادرنگ برای رمزارزها را از ابتدا می‌سازید.

تمرکز ما بر یادگیری عملی است. هر بخش شامل فعالیت‌های واقعی، فرمان‌های قابل کپی و اجرا و آزمون‌هایی برای تثبیت یادگیری شماست. تا پایان این دوره، نه‌تنها درک خواهید کرد پایپ‌لاین‌های بلادرنگ چگونه کار می‌کنند، بلکه یک پروژه کاملاً کاربردی در حال اجرا در AWS نیز خواهید داشت.

این دوره چه چیزهایی را پوشش می‌دهد؟

بخش 1 - مقدمه

بررسی دوره، منابع قابل دانلود و دستورالعمل‌های مهم راه‌اندازی AWS EC2 برای اینکه یک محیط یادگیری ایمن را تضمین کنیم.

بخش 2 - شروع کار با AWS

یاد می‌گیرید چگونه حساب AWS خود را ایجاد کنید، اولین نمونه EC2 را راه‌اندازی کنید و منابع را به‌صورت ایمن متوقف کنید تا از هزینه‌های اضافی جلوگیری کنید. این بخش شامل فعالیت‌های هدایت‌شده و یک آزمون بررسی است.

بخش 3 - الزامات لینوکس و محیط پایتون

محیط مجازی پایتون خود را راه‌اندازی می‌کنید، فرمان‌های اولیه لینوکس را یاد می‌گیرید و درک می‌کنید جمع‌آوری داده مبتنی بر API چگونه کار می‌کند. این بخش شامل تمرین عملی و یک آزمون است.

بخش 4 - جمع‌کننده قیمت رمزارز با پایتون

اولین اسکریپت پایتون خود را می‌سازید که قیمت‌های لایو BTC و ETH را هر دو دقیقه جمع‌آوری می‌کند. فراخوانی‌های API، مدیریت JSON، تایم‌استمپ‌ها و اجرای پیوسته را یاد می‌گیرید.

بخش 5 - اصول کافکا و استریمینگ

درک می‌کنید کافکا و ZooKeeper چگونه کار می‌کنند، topicها چگونه ایجاد می‌شوند، و producerها و consumerها چگونه داده را مبادله می‌کنند. کافکا را نصب و پیکربندی می‌کنید و قیمت‌های واقعی رمزارز را به یک topic در کافکا استریم می‌کنید.

بخش 6 - PostgreSQL و فرمان‌های اس کیوال

PostgreSQL را نصب می‌کنید، پایگاه داده و جدول می‌سازید و پیام‌های کافکا را به‌صورت بلادرنگ ذخیره می‌کنید. کوئری‌های اس کیوال را اجرا می‌کنید، روندهای 24 ساعته را محاسبه می‌کنید و با پایتون و اس کیوال یک پایپ‌لاین پیش‌بینی می‌سازید.

بخش 7 - ساخت داشبورد Grafana

Grafana را نصب می‌کنید، آن را به PostgreSQL متصل می‌کنید و داشبوردهای بلادرنگ و جذاب می‌سازید. نمودارهایی برای روند قیمت، پیش‌بینی‌ها، بالاترین و پایین‌ترین قیمت 24 ساعته و غیره ایجاد می‌کنید.

تا پایان این دوره، شما موارد زیر را خواهید ساخت:

• یک پایپ‌لاین رمزارز بلادرنگ و کامل
• استریم داده لایو از پایتون به کافکا
• ذخیره‌سازی بلادرنگ در PostgreSQL در AWS
• داشبوردهای تعاملی در Grafana
• مصورسازی روند BTC و ETH
• پنل‌های بالاترین و پایین‌ترین قیمت و تغییرات قیمت در 24 ساعت
• یک داشبورد پیش‌بینی با پایتون و یادگیری ماشین
• یک پروژه حرفه‌ای و آماده برای پورتفولیو

چرا این دوره برای شما مناسب است؟

• بدون نیاز به تجربه در ابر
• بدون نیاز به پیش‌زمینه مهندسی داده
• بدون نیاز به تجربه قبلی با کافکا، اس کیوال یا Grafana
• توضیحات روشن و مناسب مبتدیان
• یادگیری کاملا عملی و گام‌به‌گام
• ساخت یک سیستم واقعی و در سطح تولید در AWS

اگر همیشه می‌خواستید بفهمید پایپ‌لاین‌های داده مدرن چگونه کار می‌کنند، اما نمی‌دانستید از کجا شروع کنید، این دوره ساده‌ترین و کاربردی‌ترین راه برای آغاز کار است.

بیایید اولین داشبورد بلادرنگ شما را با هم بسازیم.

این دوره برای چه کسانی مناسب است؟

• این دوره برای مبتدیان، دانشجویان و افرادی که مسیر شغلی خود را تغییر می‌دهند یا توسعه‌دهندگانی که می‌خواهند تجربه عملی واقعی با ابزارهایی مانند کافکا، پایتون، اس کیوال و AWS بدست آورند، عالی است. اگر می‌خواهید یاد بگیرید سیستم‌های داده مدرن چگونه کار می‌کنند و یک پایپ‌لاین کامل بلادرنگ را از ابتدا بسازید، این دوره برای شماست.