خودکارسازی وب اسکرپینگ با اسکریپت‌ ها و اسپایدرهای پایتون

در این دوره برای استخراج داده از اینترنت، اسکریپت ها و اسپایدرها را از ابتدا می سازید.

آنچه یاد خواهید گرفت

• ساخت و خودکارسازی وب اسکرپینگ با اسکریپت های پایتون 
• ساخت و خودکارسازی وب اسکرپینگ با اسپایدرها
• یادگیری استفاده از Beautiful Library برای استخراج داده
• یادگیری استفاده از Scrapy برای استخراج داده 
• یادگیری بررسی عناصر HTML
• یادگیری ایجاد و فعال سازی محیط های مجازی پایتون
• یادگیری نمونه سازی اولیه از اسکریپت های وب اسکرپینگ
• یادگیری اسکرپ کردن داده با استفاده از شل scrapy
• یادگیری اسکرپ کردن داده از محصولات تجارت الکترونیک 
• خودکارسازی اسکریپت برای ارسال ایمیل ها

پیش نیازهای دوره

• دانش اولیه HTML مفید خواهد بود.
• نیاز به کامپیوتر و اینترنت

توضیحات دوره

وب اسکرپینگ فرآیند دانلود خودکار داده صفحه وب و استخراج اطلاعات خاص از آن است. اطلاعات استخراج شده را می توان در یک پایگاه داده یا به صورت انواع مختلف فایل ذخیره کرد.

 قوانین اولیه اسکرپینگ:

•  همیشه شرایط و ضوابط یک وب سایت را قبل از اسکرپ کردن آن بررسی کنید تا از مشکلات قانونی جلوگیری شود.
•  از یک وب سایت به صورت تهاجمی (اسپم کردن) با برنامه خود اطلاعات درخواست نکنید زیرا ممکن است وب سایت را خراب کند.
•  طرح‌ بندی یک وب‌ سایت ممکن است هر از گاهی تغییر کند، بنابراین مطمئن شوید که کد شما با آن سازگار است.

ابزارهای محبوب وب اسکرپینگ عبارتند از BeautifulSoup و Scrapy

BeautifulSoup، کتابخانه پایتون برای pulling (تجزیه) داده از فایل های HTML و XML است.

Scrapyis، فریمورک اپلیکیشن متن باز رایگان است که برای وب کراولینگ سایت ها و استخراج داده ساختار یافته استفاده می شود که می تواند برای موارد مختلفی مانند داده کاوی، تحقیق، پردازش اطلاعات یا آرشیو تاریخی استفاده شود.

ابزارهای نرم افزاری وب اسکرپینگ ممکن است مستقیما با استفاده از پروتکل انتقال هایپرتکست یا از طریق یک مرورگر وب به وب جهانی دسترسی پیدا کنند. در حالی که وب اسکرپینگ را می توان به صورت دستی توسط یک کاربر نرم افزاری انجام داد، این اصطلاح معمولا به فرآیندهای خودکار پیاده شده با استفاده از یک بات یا کراولر وب اشاره دارد. این نوعی کپی است که در آن داده‌ خاصی از وب جمع‌ آوری و معمولا در یک پایگاه داده محلی مرکزی یا spreadsheet، برای بازیابی یا تحلیل بعدی، کپی می‌ شود.

 اسکرپینگ یک صفحه وب، شامل واکشی آن و استخراج از آن است. واکشی، دانلود یک صفحه (کاری که مرورگر هنگام مشاهده صفحه انجام می دهد)، برای واکشی صفحات برای پردازش بعدی است. پس از واکشی، سپس استخراج می تواند انجام شود. محتوای صفحه وب ممکن است تجزیه شود، جستجو شود، دوباره فرمت بندی شود، داده آن در یک spreadsheet کپی شود و نیز کار دیگری روی آن انجام شود. وب اسکرپرها معمولا چیزی را از یک صفحه استخراج می کنند تا از آن برای هدف دیگر در جای دیگر استفاده کنند. یک مثال می تواند یافتن و کپی نام ها و شماره تلفن ها یا شرکت ها و URLs آن ها در یک لیست (اسکرپ کردن محتوا) باشد.

وب اسکرپینگ برای اسکرپ کردن محتوا و به عنوان کامپوننتی از اپلیکیشن های مورد استفاده برای ایندکس گذاری وب، وب کاوی و داده کاوی، نظارت بر تغییر قیمت آنلاین و مقایسه قیمت ها، اسکرپ کردن نظرات محصول (برای تماشای رقابت)، جمع آوری لیست املاک و مستغلات، نظارت بر داده هواشناسی، تشخیص تغییر وب سایت، تحقیق، ردیابی حضور و شهرت آنلاین، mashup کردن وب و یکپارچه سازی داده وب استفاده می شود.

این دوره برای چه کسانی مناسب است؟

• مبتدیان در وب اسکرپینگ
• تحلیلگر مبتدی داده