ایجاد 5 پروژه وب اسکرپینگ با پایتون: از مبتدی تا پیشرفته
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت
- یادگیری نحوه اسکرپ دادهها از وبسایتها با استفاده از کتابخانههای پایتون مانند BeautifulSoup و Playwright برای محتوای استاتیک و داینامیک
- چگونه به یک وبسایت با استفاده از Playwright وارد شوید و محتوای آن را اسکرپ کنید.
- کسب تجربه عملی با ایجاد پنج پروژه واقعی وب اسکرپینگ شامل ردیابی قیمت، جاب اسکرپرها و جمعآوری دادهها
- یاد بگیرید چگونه اسکرپرها را میزبانی کرده و cron jobها را برای اجرای خودکار در فضای ابری راهاندازی کنید.
پیش نیازهای دوره
- شما باید دانش پایه از پایتون داشته باشید، از جمله استفاده از حلقهها، دستورات شرطی و عملگرها. آشنایی با ساختارهای دادهای مانند لیستها، دیکشنریها، مجموعهها و تاپلها نیز الزامی است.
توضیحات دوره
در این دوره، "ایجاد 5 پروژه وب اسکرپینگ با پایتون: از مبتدی تا پیشرفته،" دانش جامع و کاملی درباره نحوه استخراج کارآمد دادهها از وبسایتها با استفاده از پایتون کسب خواهید کرد. چه تازهکار باشید و چه تجربهای در وب اسکرپینگ داشته باشید، این دوره برای بهبود مهارتهای شما از طریق پروژههای عملی و کاربردی طراحی شده است. ما از کتابخانههای قدرتمندی مانند BeautifulSoup برای تجزیه HTML، کتابخانه Requests برای مدیریت درخواستهای HTTP و Playwright برای تعامل با محتوای داینامیک و جاوااسکریپت استفاده خواهیم کرد.
در طول دوره، یاد می گیرید که چگونه رباتهای وب اسکرپینگ سفارشی را از ابتدا بسازید و می آموزید که چگونه همه چیز را از اسکرپ صفحات استاتیک تا تسک های پیچیدهتر مانند ورود به وبسایتها برای استخراج دادههای حفاظتشده مدیریت کنید. علاوه بر این، به بررسی نحوه خودکارسازی تسک های اسکرپینگ با برنامهریزی آنها با استفاده از cron jobها خواهید پرداخت که به شما این امکان را میدهد که اسکریپتهای خود را در فواصل منظم در فضای ابری بهصورت رایگان اجرا کنید.
هر پروژه بهگونهای طراحی شده که سناریوهای واقعی را شبیهسازی کند و به شما کمک کند تا مهارتهای جدید خود را بلافاصله بهکار گیرید. با پایان دوره، به اسکرپینگ محتوای استاتیک و داینامیک، خودکارسازی استخراج دادهها و استقرار پروژههای خود در فضای ابری تسلط خواهید یافت. اگر بخواهید دادههای محصول، فهرست جاب ها یا اطلاعات شبکههای اجتماعی را اسکرپ کنید، این دوره شما را با ابزارها و دانش لازم برای موفقیت تجهیز میکند.
این دوره برای چه کسانی مناسب است؟
- این دوره برای علاقهمندان به پایتون که مشتاق هستند وارد دنیای وب اسکرپینگ شوند و رباتهای واقعی بسازند، مناسب است. اگر تازهکار هستید و تمایل دارید مهارتهای خود را گسترش دهید یا به عنوان یک توسعهدهنده با تجربه به دنبال ارتقای تواناییهای اسکرپینگ خود هستید، این دوره دانش عملی و تجربههای لازم برای تسلط در این زمینه را ارائه میدهد. این دوره برای فریلنسرها، تسترهای نرمافزار و هر شخصی که بهدنبال انجام کارهای وب اسکرپینگ بهطور کارآمد است، ایدهآل خواهد بود.
ایجاد 5 پروژه وب اسکرپینگ با پایتون: از مبتدی تا پیشرفته
-
مقدمهای بر وب اسکرپینگ 01:46
-
مروری بر وب اسکرپینگ 01:55
-
کاربردهای وب اسکرپینگ 05:06
-
ابزارها برای وب اسکرپینگ 04:01
-
درک ساختارهای وب 06:25
-
مقدمهای بر BeautifulSoup و Requests 07:47
-
یافتن دادهها با استفاده از تگها و کلاسها 02:48
-
استخراج دادهها از HTML با استفاده از BeautifulSoup 06:07
-
استفاده از ()find_all برای اسکرپ چندین عنصر از وبسایت 07:33
-
استفاده از ()get. در BeautifulSoup برای استخراج URLها از وبسایت 05:58
-
استفاده از ()find_all برای اسکرپ چندین URL از وبسایت 06:46
-
استخراج تصاویر با استفاده از منبع تصویر 09:39
-
مقدمهای بر وب اسکرپینگ با استفاده از BeautifulSoup و Requests None
-
پروژه 1- اسکرپر وب پایه (کتابهایی که باید اسکرپ شوند) 10:13
-
درک الگوهای صفحهبندی 02:22
-
مدیریت صفحات با تعداد کل صفحات مشخص 05:22
-
مدیریت صفحات با تعداد کل صفحات نامشخص 11:09
-
حلقهزنی در چندین صفحه برای جمعآوری دادهها 08:29
-
سوالات در مورد صفحهبندی None
-
پروژه 2: اسکرپ صفحات محصول - قسمت 1 13:04
-
پروژه 2: اسکرپ صفحات محصول - قسمت 2 12:52
-
ذخیرهسازی دادهها در فایلهای CSV و اکسل 06:37
-
درک محتوای بارگذاری شده بهطور داینامیک 05:40
-
تفاوتهای بین صفحات استاتیک و داینامیک 01:40
-
مقدمهای بر Playwright 02:11
-
استخراج دادهها از وبسایتهای داینامیک با استفاده از Playwright 07:50
-
چگونه با استفاده از Playwright اسکرول کنیم؟ 04:52
-
چگونه با استفاده از Playwright به وبسایت وارد شویم؟ 10:03
-
چگونه با استفاده از Playwright Codegen به وبسایت وارد شویم؟ 02:50
-
چگونه با استفاده از Playwright فایلها را دانلود کنیم؟ 06:51
-
چگونه فایلها را با استفاده از Playwright در وبسایت بارگذاری کنیم؟ 03:45
-
دانش خود را در اسکرپ محتوای داینامیک بیازمایید None
-
پروژه 3: ورود و استخراج دادهها (اسکرپر رسانههای اجتماعی - توییتر) 08:33
-
APIها چه هستند و چگونه از آنها برای استخراج دادهها استفاده کنیم؟ 02:42
-
تفاوت بین وب اسکرپینگ و استفاده از API 02:48
-
تجزیه پاسخهای JSON از APIها 07:01
-
چگونه APIهای مخفی را کشف کنیم؟ 08:39
-
دانش خود را درباره APIهای مخفی بیازمایید None
-
پروژه 4: استخراج دادهها از API مخفی 13:25
-
مروری بر پروژه 01:23
-
ایجاد اسکرپر پایه بهصورت آفلاین 13:45
-
پیکربندی API گوگل شیت برای ادغام 04:52
-
ادغام با گوگل شیت بهصورت محلی 04:19
-
استقرار و زمانبندی در فضای ابری با استفاده از GitHub Actions 10:36
مشخصات آموزش
ایجاد 5 پروژه وب اسکرپینگ با پایتون: از مبتدی تا پیشرفته
- تاریخ به روز رسانی: 1404/10/04
- سطح دوره:همه سطوح
- تعداد درس:44
- مدت زمان :04:19:44
- حجم :2.24GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy