ورودی و خروجی داده و پیش‌پردازش با پایتون و SQL

آنچه یاد خواهید گرفت:

• شما با داده‌ واقعی همان‌طور که در عمل وجود دارند کار خواهید کرد - داده نامرتب، ساختار نیافته و پراکنده در منابع مختلف
• شما یاد خواهید گرفت که داده‌ را از وبسایت‌ها، APIs و پایگاه داده‌ها استخراج کرده و آنها را با استفاده از پایتون و SQL پاکسازی کنید، که یک گام ضروری در هر پایپ‌لاین تحلیل است.

توضیحات دوره

بیشتر داده‌ واقعی تمیز نیستند، آنها نامرتب، ناقص و در منابعی مانند وبسایت‌ها، APIs و پایگاه داده‌های پراکنده هستند. در این دوره، شما یاد خواهید گرفت که چگونه آن داده‌ را جمع‌آوری کنید، آن را پاکسازی کرده و برای تحلیل با استفاده از پایتون و SQL آماده کنید.

شما با استخراج داده‌ از صفحات وب با استفاده از ابزارهایی مانند Pandas و Beautiful Soup شروع می‌کنید، در حالی که یاد می‌گیرید چگونه با متن‌های ساختار نیافته کار کرده و شیوه‌های اخلاقی اسکرپ کردن را اعمال کنید.

در ادامه، از طریق APIs به داده‌ بلادرنگ دسترسی پیدا می‌کنید، فایل‌های جی‌سان را تجزیه کرده و داده‌ عددی را با استفاده از تکنیک‌هایی مانند نرمال‌سازی و binning پاکسازی می‌کنید. همچنین یاد می‌گیرید که چگونه احراز هویت را با کلیدهای API مدیریت کرده و آنها را به‌ طور امن ذخیره کنید.

در نهایت، با پایگاه داده‌ها کار می‌کنید، جداول را با استفاده از SQL، کوئری و جوین می‌کنید، نتایج را اعتبارسنجی می‌کنید و درک می‌کنید چه زمانی برای تسک‌های مختلف پیش‌پردازش از SQL در مقابل پایتون استفاده کنید.

در پایان دوره قادر خواهید بود داده‌ خام واقعی را به ورودی‌های قابل اعتماد و آماده برای تحلیل تبدیل کنید که یک مهارت اصلی برای هر متخصص داده است.