سفر مهندسی داده خود را آغاز کنید: یادگیری مبتنی بر پروژه

آنچه یاد خواهید گرفت:

• نوشتن اسکریپت‌های Python برای استخراج داده با تعامل با APIها توسط Postman، بارگذاری در انبار داده و تبدیل (ELT)
• استفاده از PostgreSQL به عنوان انبار داده. تعامل با انبار داده با استفاده از psql و DBeaver
• یادگیری چگونگی کانتینری‌سازی اپلیکیشن های داده با استفاده از Docker، برای قابل‌حمل کردن و مقیاس‌پذیری آسان پایپ لاین های داده
• تسلط به اصول هماهنگ‌سازی و خودکارسازی گردش های کاری داده با Apache Airflow، ابزاری ضروری در مهندسی داده
• درک چگونگی انجام تست‌های واحد، یکپارچه‌سازی و انتها به انتها (E2E) با استفاده از ترکیبی از pytest و تست‌های DAG در Airflow برای اعتبارسنجی پایپ لاین های داده
• پیاده‌سازی تست‌های کیفیت داده با استفاده از SODA برای اطمینان از مطابقت داده‌ها با الزامات تجاری و فنی
• یادگیری خودکارسازی پایپ لاین های استقرار با استفاده از GitHub Actions برای اطمینان از یکپارچه‌سازی و تحویل مداوم و روان

پیش‌نیازهای دوره

• حداقل 8 گیگابایت رم، اگرچه 16 گیگابایت برای عملکرد روان‌تر بهتر است.
• نصب Python ،Docker و Git برای اجرا/دسترسی به کدهای دوره
• دانش پایه Python و SQL مورد نیاز است.
• آشنایی با Docker و CI/CD مزیت محسوب می‌شود اما ضروری نیست.

توضیحات دوره

مهندسی داده ستون فقرات شرکت‌های مدرن داده‌محور است. برای موفقیت، نیاز به تجربه کار با ابزارها و فرآیندهایی دارید که پایپ لاین های داده را در محیط‌های واقعی قدرت می‌بخشند. این دوره یادگیری عملی و مبتنی بر پروژه را با ابزارهای زیر ارائه می‌دهد: PostgreSQL ،Python ،Docker، Airflow ،Postman ،SODA و Github Actions. مدرس شما را در چگونگی استفاده از این ابزارها راهنمایی خواهد کرد.

آنچه در این دوره خواهید آموخت:

• Python برای مهندسی داده: نوشتن اسکریپت‌های Python برای استخراج داده با تعامل با APIها توسط Postman، بارگذاری در انبار داده و تبدیل (ELT)
• SQL برای پایپ لاین های داده: استفاده از PostgreSQL به عنوان انبار داده. تعامل با انبار داده با استفاده از psql و DBeaver
• Docker برای استقرارهای کانتینری: کشف چگونگی کانتینری‌سازی اپلیکیشن های داده با استفاده از Docker، برای قابل‌حمل کردن و مقیاس‌پذیری آسان پایپ لاین های داده
• Airflow برای خودکارسازی گردش کار: تسلط به اصول هماهنگ‌سازی و خودکارسازی گردش های کاری داده با Apache Airflow، ابزاری ضروری در مهندسی داده
• تست و تضمین کیفیت داده: درک چگونگی انجام تست‌های واحد، یکپارچه‌سازی و انتها به انتها (E2E) با استفاده از ترکیبی از pytest و تست‌های DAG در Airflow برای اعتبارسنجی پایپ لاین های داده. پیاده‌سازی تست‌های کیفیت داده با استفاده از SODA برای اطمینان از مطابقت داده‌ها با الزامات تجاری و فنی.
• CI/CD برای تست و استقرار خودکار: یادگیری خودکارسازی پایپ لاین های استقرار با استفاده از GitHub Actions برای اطمینان از یکپارچه‌سازی و تحویل مداوم و روان

این دوره برای چه کسانی مناسب است؟

• مهندسان داده مشتاق: اگر تازه کار خود را شروع کرده‌اید و می‌خواهید مهندسی داده را با کار با ابزارها و پروژه‌های واقعی بیاموزید، این دوره مهارت‌های پایه‌ای مورد نیاز برای شروع شغلتان را فراهم می‌کند.
• متخصصان داده مبتدی: اگر تجربه‌ای به عنوان مهندس داده/دانشمند داده دارید اما می‌خواهید درک خود را از ابزارهای ضروری مانند Docker ،CI/CD و تست خودکار عمیق‌تر کنید، این دوره به شما کمک می‌کند تا بر دانش قبلی خود بیافزایید.
• علاقه‌مندان به داده: کسانی که اشتیاق به داده دارند و علاقه‌مند به کسب تجربه عملی با ابزارهای مورد استفاده مهندسان داده مدرن هستند.