مهندسی داده - پایتون، یادگیری ماشین، ETL و وب اسکرپینگ

آنچه یاد خواهید گرفت:

• درک نقش مهندسی داده - درک اهمیت و مسئولیت‌های مهندسی داده در اکوسیستم داده‌ گسترده‌تر
• یادگیری مفاهیم کلیدی مهندسی داده - آشنایی با اصطلاحات و مفاهیم اساسی در مهندسی داده
• راه‌اندازی محیط پایتون - نصب موفق پایتون و ایجاد محیط‌های مجازی روی ویندوز و macOS
• استفاده از Jupyter Notebook - نصب، راه‌اندازی و ناوبری Jupyter Notebook برای تحلیل و مصورسازی داده‌ تعاملی
• توسعه مهارت‌های برنامه‌نویسی پایتون - درک و اعمال اصول برنامه‌نویسی پایتون، شامل عبارات، دستورات و تایپ‌های داده‌
• دستکاری ساختارهای داده در پایتون - استفاده بهینه از لیست‌ها، تاپل‌ها و دیکشنری‌ها در پایتون
• انجام دستکاری داده با Pandas - استفاده از Pandas برای ایجاد، دستکاری و تحلیل داده‌ در سری‌ها و دیتافریم‌ها
• بارگذاری و بررسی داده‌ - ایمپورت داده‌ به دیتافریم‌ها از Pandas و انجام بررسی‌های اولیه داده
• پاکسازی و تبدیل داده - اعمال تکنیک‌های پاکسازی و تبدیل داده برای آماده‌سازی داده‌ برای تحلیل
• مصورسازی داده با پایتون - ایجاد انواع مختلف مصورسازی‌ها برای بررسی و ارائه بینش‌های داده
• درک مبانی یادگیری ماشین - کسب درک بنیادین از مفاهیم و گردش‌کارهای یادگیری ماشین
• پیش‌پردازش داده برای یادگیری ماشین - انجام تسک‌های پیش‌پردازش داده شامل مدیریت مقادیر گمشده، کدگذاری متغیرهای دسته‌ای و مهندسی ویژگی‌
• آموزش و ارزیابی مدل‌های یادگیری ماشین - آموزش مدل‌های یادگیری ماشین، انجام پیش‌بینی‌ها و ارزیابی عملکرد آنها با استفاده از متریک‌های مناسب
• کار با مدل‌های رگرسیون لجستیک - آموزش، ارزیابی و تفسیر مدل‌های رگرسیون لجستیک
• مصورسازی متریک‌های ارزیابی مدل - ایجاد مصورسازی‌ها برای تفسیر ماتریس‌های درهم‌ریختگی و سایر متریک‌های ارزیابی
• ذخیره و بارگذاری مدل‌های یادگیری ماشین - ذخیره مدل‌های آموزش دیده و بارگذاری آنها برای استفاده و استقرار مجدد
• ساخت درختان تصمیم‌گیری و جنگل‌های تصادفی - درک و پیاده‌سازی الگوریتم‌های درخت تصمیم‌گیری و جنگل تصادفی
• ایجاد و اجرای پکیج‌های ETL با SSIS - یادگیری نحوه ایجاد و اجرای پکیج‌های ETL با استفاده از سرویس‌های یکپارچه‌سازی SQL Server (SSIS)
• استخراج داده با استفاده از وب اسکرپینگ - استفاده از BeautifulSoup و اسکرپی برای استخراج داده از وبسایت‌ها
• توسعه اسکریپت‌های وب اسکرپینگ - نوشتن و تست اسکریپت‌ها برای اتوماسیون تسک‌های وب اسکرپینگ
• ساخت راه‌حل‌های جامع مهندسی داده - یکپارچه‌سازی مهارت‌ها و دانش برای ساخت پایپ‌لاین‌های قوی مهندسی داده که شامل جمع‌آوری داده، پردازش و تحلیل داده باشد.

پیش‌نیازهای دوره

• سواد اولیه کامپیوتری - آشنایی با عملیات‌های اولیه‌ کامپیوتر، مانند نصب نرم‌افزار، ناوبری در فایل‌های سیستم‌ و استفاده از مرورگر وب
• علاقه به مهندسی داده - علاقه قوی به مهندسی داده، تحلیل داده و یادگیری ماشین
• کامپیوتر، یک لپ‌تاپ یا دسکتاپ با دسترسی به اینترنت

توضیحات دوره

به این دوره خوش آمدید. این دوره به‌ گونه‌ای طراحی شده که شما را با مهارت‌ها و دانش اساسی مورد نیاز برای برتری در زمینه در حال تحول مهندسی داده مجهز کند. چه شما یک مبتدی باشید و چه یک حرفه‌ای باتجربه که به دنبال گسترش مهارت‌های خود هستید، این دوره یک رویکرد دقیق، عملی برای تسلط به مهندسی داده ارائه می‌دهد.

بررسی دوره:

مهندسی داده، پایه و اساس علم داده و تحلیل‌های مدرن است و زیرساخت جمع‌آوری، پردازش و تحلیل مجموعه‌ داده‌های بزرگ را فراهم می‌آورد. این دوره از مبانی آغاز می‌شود و به تدریج به مباحث پیچیده‌تر می‌پردازد و یک درک جامع از هر مفهوم را قبل از حرکت به سمت مبحث بعدی تضمین می‌کند.

• بخش 1 - بررسی مهندسی داده - ما با معرفی مهندسی داده آغاز می‌کنیم و نقش آن را در اکوسیستم داده پوشش می‌دهیم. شما با مفاهیم کلیدی، اصطلاحات و گردش‌کار معمول مهندسی داده، از جمع‌آوری داده تا تحلیل داده آشنا خواهید شد. این بخش صحنه را برای جنبه‌های فنی بعدی آماده می‌کند.
• بخش 2 - راه‌اندازی محیط پایتون - پایتون یکی از ابزارهای اصلی برای مهندسان داده است. در این بخش، شما یاد خواهید گرفت که چگونه محیط پایتون خود را روی سیستم‌های ویندوز و macOS ، از جمله ایجاد و فعال‌سازی محیط‌های مجازی راه‌اندازی کنید. همچنین ابزارها ضروری مانند Jupyter Notebook و ویرایشگرهای متن محبوب را نیز پوشش داده و شما را برای برنامه‌نویسی مؤثر پایتون و دستکاری داده‌ آماده می‌کنیم.
• بخش 3 - اصول برنامه‌نویسی پایتون - با راه‌اندازی محیط کاری، وارد برنامه‌نویسی پایتون می‌شویم. از عبارات و دستورهای اولیه شروع کرده و به مباحث پیچیده‌تر مانند تایپ‌های داده، متغیرها، لیست‌ها، تاپل‌ها، دیکشنری‌ها، دستورات کنترل جریان و توابع می‌پردازیم. این بخش اطمینان می‌دهد که بنیادی قوی در پایتون داشته باشید و این امر برای انجام تسک‌های مهندسی داده حیاتی است.
• بخش 4 - دستکاری و مصورسازی داده با پایتون - شما یاد می‌گیرید که چگونه از قدرت Pandas برای دستکاری داده‌ بهره‌برداری کنید. شما بررسی می‌کنید که چگونه سری‌ها و دیتافریم‌ها را ایجاد و مدیریت کنید، داده‌ را بارگذاری و بررسی کنید، داده‌ را پاکسازی و تبدیل کنید و از تکنیک‌های مختلف برای مصورسازی داده‌ استفاده کنید. در پایان این بخش، شما به مهارت کافی در آماده‌سازی و تحلیل داده‌ برای دستیابی به بینش‌ها خواهید رسید.
• بخش 5 - اصول یادگیری ماشین - این بخش شما را با مبانی یادگیری ماشین آشنا می‌کند. شما درباره پیش‌پردازش داده، مدیریت مقادیر گمشده، کدگذاری متغیرهای دسته‌ای و مهندسی ویژگی‌ یاد خواهید گرفت. ما به شما آموزش می‌دهیم که چگونه مدل‌های یادگیری ماشین را آموزش دهید و ارزیابی کنید، پیش‌بینی کنید و نتایج را مصورسازی کنید. همچنین یاد می‌گیرید که چگونه مدل‌ها را برای استفاده‌های آینده ذخیره و بارگذاری کنید.
• بخش 6 - ایجاد و اجرای پکیج‌های ETL با SSIS و SQL Server - شما دنیای فرآیندهای استخراج، تبدیل و بارگذاری (ETL) را با استفاده از سرویس‌های یکپارچه‌سازی SQL Server (SSIS) بررسی می‌کنید. شما یاد خواهید گرفت که چگونه پکیج‌های ETL را ایجاد و مدیریت کنید، داده‌ را از منابع مختلف مدیریت کنید و گردش‌کار داده را خودکار کنید. این بخش مهارت‌های عملی برای مدیریت تسک‌های یکپارچه‌سازی داده در مقیاس بزرگ را فراهم می‌کند.
• بخش 7 - استخراج داده با استفاده از وب اسکرپینگ - سرانجام، ما تکنیک‌های وب اسکرپینگ را با استفاده از BeautifulSoup و اسکرپی پوشش می‌دهیم. شما یاد خواهید گرفت که چگونه داده‌ را از وبسایت‌ها استخراج کنید، اسکریپت‌های وب اسکرپینگ را بنویسید و تست کنید و داده‌ اسکرپ شده را برای تحلیل ذخیره کنید. این بخش شما را با مهارت‌های لازم برای جمع‌آوری داده از اینترنت، منبعی ارزشمند برای هر مهندس داده، تجهیز می‌کند.

یادگیرندگان هدف:

این دوره برای مهندسان داده آینده، تحلیلگران داده، توسعه‌دهندگان نرم‌افزار، دانشجویان، علاقه‌مندان به فناوری و حرفه‌ای‌هایی که به نقش‌های مهندسی داده منتقل می‌شوند، ایده‌آل است. هیچ تجربه قبلی لازم نیست و این دوره برای مبتدیان قابل دسترسی است.

چرا در دوره شرکت کنید؟

با شرکت در دوره، تجربه عملی و دست اول با ابزارها و تکنیک‌های مورد استفاده توسط مهندسان داده خواهید داشت. شما یاد خواهید گرفت که چگونه پایپ‌لاین‌های داده قوی بسازید، داده‌ را دستکاری و تحلیل کنید و مدل‌های یادگیری ماشین را ایجاد و مستقر کنید. رویکرد گام‌به‌گام ما اطمینان می‌دهد که می‌توانید این مهارت‌ها را با اعتمادبه‌نفس در سناریوهای واقعی اعمال کنید و به دارایی ارزشمندی در این صنعت داده‌ محور تبدیل شوید.

به ما در این سفر برای تسلط به مهندسی داده بپیوندید و قدرت داده‌ را کشف کنید.

این دوره برای چه کسانی مناسب است؟

• مهندسان داده آینده
• تحلیلگران و دانشمندان داده
• توسعه‌دهندگان نرم‌افزار
• دانشجویان و فارغ‌التحصیلان جدید
• علاقه‌مندان و مشتاقان فناوری
• حرفه‌ای‌هایی که شغل خود را تغییر می‌دهند.
• کارآفرینان و تحلیلگران کسب‌وکار