پروژه‌های پورتفولیوی VBM - پاک‌سازی داده با اس کیوال (داده تجارت الکترونیک)

آنچه یاد خواهید گرفت:

• ساخت یک پروژه کامل و قابل‌انتشار برای پورتفولیو: یک پایپ‌لاین end-to-end برای پاک‌سازی داده با اس کیوال و محاسبه شاخص کلیدی عملکرد
• تبدیل یک جدول شلوغ و نامرتب تجارت الکترونیک به یک clean_table قابل‌اعتماد که برای گزارش‌دهی و داشبوردها ایمن باشد.
• پروفایل‌کردن داده مانند یک فرد حرفه‌ای: شمارش ردیف‌ها، بررسی null و کامل‌بودن داده، تحلیل دسته‌بندی‌ها، و تشخیص اینکه «وضعیت چقدر بد است؟»
• ساخت یک لایه silver تایپ‌شده در اس کیوال: تبدیل ایمن نوع داده، تجزیه تاریخ با فرمت‌های ترکیبی و نرمال‌سازی متن (بدون خراب‌کردن بی‌صدای نتایج)
• اجرای یک قرارداد واقعی کسب‌وکار: فیلترینگ سفارش‌های نامعتبر (مبلغ‌ها، هزینه‌ها، فلگ‌ها و بازه‌های ساعتی) و اندازه‌گیری دقیق اینکه هر قانون چه چیزی را حذف می‌کند.
• تشخیص و حذف داده تکراری با یک کلید کسب‌وکار و درک ریسک واقعی تعریف نادرست آن کلید
• پیاده‌سازی 10 شاخص کلیدی عملکرد آماده برای داشبورد در اس کیوال با CTEها، تجمیع‌ها و در صورت نیاز توابع پنجره
• استانداردسازی خروجی‌ها در یک جدول واحد kpi_results با یک اسکیمای سازگار که داشبورد (یا پلتفرم) بتواند آن را بخواند.
• اشکال‌زدایی درست اختلاف شاخص‌های کلیدی عملکرد: ردیابی مشکل تا لایه درست (منبع به silver به پاکسازی به شاخص کلیدی عملکرد) به‌جای حدس‌زدن
• بسته‌بندی حرفه‌ای پروژه: فایل‌های اس کیوال تمیز، README قوی، اسکرین‌شات‌های شواهد و خلاصه پروژه مناسب لینکدین

پیش‌نیازهای دوره

• دانش اولیه اس کیوال (باید با SELECT ،WHERE ،GROUP BY و جوین‌های اولیه به راحتی کار کنید)
• یک لپ‌تاپ یا PC و یک مرورگر وب مدرن
• می‌توانید از هر ابزار اس کیوال که از قبل دارید استفاده کنید.
• در ویدئوها، ما از Verulam Blue Mint (یک محیط اس کیوال مبتنی بر مرورگر و رایگان) استفاده می‌کنیم تا همه‌چیز را در یک گردش کار نوت‌بوکی نگه داریم و از بررسی و بازخورد شاخص کلیدی عملکرد پشتیبانی کنیم، اما رویکرد اس کیوال قابل‌انتقال است.

توضیحات دوره

این دوره طوری طراحی شده که در نهایت یک پروژه پورتفولیوی قابل‌انتشار به شما بدهد، یک پایپ‌لاین کامل پاک‌سازی داده و شاخص کلیدی عملکرد با اس کیوال که بتوانید آن را در گیت‌هاب قرار دهید، در لینکدین لینک کنید و با اطمینان در مصاحبه‌ها درباره‌اش توضیح دهید.

این دوره یک شبیه‌سازی واقعی از دنیای کار است که بر پایه یک مجموعه داده شلوغ و یک بریف کسب‌وکار با هدفی روشن ساخته شده، ارائه 10 شاخص کلیدی عملکرد که به‌اندازه کافی قابل‌اعتماد باشند تا روی داشبورد نمایش داده شوند.

بیشتر دوره‌های «پاک‌سازی داده» با اس کیوال یا در سطح تمرین‌های سینتکس باقی می‌مانند، یا از مجموعه داده‌های آموزشی تمیز استفاده می‌کنند که در آن‌ها هیچ‌چیز خراب نمی‌شود. اما در تیم‌های واقعی داده، با چنین شرایطی روبرو نیستید.

در این دوره، همان گردش کاری را طی می‌کنید که در یک پروژه واقعی استفاده می‌کنید:

• بریف را درست می‌خوانید تا بدانید «درست» دقیقاً چه معنایی دارد.
• اسکیمای خام را بررسی می‌کنید و از همان ابتدا آشفتگی‌ها را تشخیص می‌دهید (فرمت‌های ترکیبی تاریخ، غلط‌های املایی در دسته‌بندی‌ها، مقادیر گمشده و داده تکراری)
• یک لایه silver تایپ‌شده و ایمن‌تر می‌سازید که خطاها در آن به‌صورت کنترل‌شده آشکار شوند.
• قوانین کسب‌وکار را اجرا کرده، داده تکراری را حذف می‌کنید و آن را به یک clean_table قابل‌اعتماد تبدیل می‌کنید.
• تمام خروجی‌های شاخص کلیدی عملکرد را محاسبه و در یک جدول نتایج سازگار استاندارد می‌کنید.
• نتایج را اعتبارسنجی می‌کنید، تلرانس و گرد کردن را می‌فهمید و اختلاف‌ها را مانند یک فرد حرفه‌ای دیباگ می‌کنید.
• در پایان، کل پایپ‌لاین را به یک پروژه آماده پورتفولیو در گیت‌هاب با ساختار تمیز مخزن، README قوی و اثبات نتایج تبدیل می‌کنید.

در پایان، فقط نخواهید دانست «چگونه با اس کیوال داده را پاک‌سازی کنید». شما یک پروژه end-to-end برای پورتفولیو خواهید داشت که می‌توانید به طور واضح توضیح دهید، چه مشکلی در داده وجود داشت، چه چیزهایی را تغییر دادید، چه قوانینی را اعمال کردید و چرا می‌توان به شاخص‌های کلیدی عملکرد شما اعتماد کرد.

این دوره برای چه کسانی مناسب است؟

• هر کسی که یک پروژه پورتفولیو قابل‌انتشار می‌خواهد: یک پایپ‌لاین کامل پاک‌سازی اس کیوال و شاخص کلیدی عملکرد که بتوان آن را در گیت‌هاب قرار داد و با اطمینان در مصاحبه‌ها توضیح داد.
• تحلیل‌گران داده، توسعه‌دهندگان هوش تجاری و افراد مشتاق به مسیر تحلیل و مهندسی داده که از قبل اس کیوال اولیه را بلدند و یک پروژه جدی و مناسب کارفرما می‌خواهند و به دنبال مثال‌های آموزشی ساده نیستند.
• دانشجویانی که می‌توانند کوئری بنویسند، اما هنوز یک گردش کار لایه‌ای end-to-end (داده خام به silver به پاکسازی به شاخص‌های کلیدی عملکرد به نتایج استانداردشده) نساخته‌اند.
• جویندگان کار که می‌خواهند در حوزه‌هایی که کارفرماها واقعاً به آن اهمیت می‌دهند، مدرکی برای اثبات مهارت خود داشته باشند: استدلال درباره کیفیت داده، اعمال قوانین کسب‌وکار، حذف داده تکراری و قابلیت اعتماد معیارها
• اگر در اس کیوال کاملاً تازه‌کار هستید و به دوره‌ای از پایه نیاز دارید، این دوره گزینه ایده‌آلی نیست.