پایتون - وب اسکرپینگ مقیاسپذیر و گردش کارهای API
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
مدیریت وب اسکرپینگ در مقیاس میتواند چالشبرانگیز باشد. در این دوره، پایتون - وب اسکرپینگ مقیاسپذیر و گردش کارهای API، شما یاد میگیرید چگونه گردش کارهای وب اسکرپینگ کارآمد و قابل نگهداری را با Requests ،BeautifulSoup و Celery بسازید. ابتدا، چگونگی واکشی داده وب بهصورت مؤثر را با کتابخانه Requests به همراه مدیریت هدرها، سشنها و محدودیتهای نرخ مطالعه میکنید. سپس، کشف میکنید چگونه اطلاعات معنادار را اچ تی ام ال با BeautifulSoup تجزیه و استخراج کنید و ساختارهای داده نامرتب یا ناسازگار را مدیریت کنید.
در نهایت، یاد میگیرید چگونه وظایف وب اسکرپینگ خود را با Celery و Redis مقیاسبندی کنید تا jobها را بهصورت ناهمزمان پردازش کرده و عملکرد را بهبود ببخشید. وقتی این دوره را به پایان برسانید، مهارتها و دانش وب اسکرپینگ مقیاسپذیر و یکپارچهسازی API لازم برای مدیریت موثر استخراج داده در مقیاس بالا، اجتناب از تلههای رایج و یکپارچهسازی گردش کارهای اسکرپینگ خود در اپلیکیشنهای آماده تولید را خواهید داشت.
پایتون - وب اسکرپینگ مقیاسپذیر و گردش کارهای API
-
آشنایی با وب اسکرپینگ و چالشهای مقیاسبندی 4m
-
چالشها در وب اسکرپینگ 3m 2s
-
بررسی دوره و محدوده پروژه 3m 20s
-
آشنایی با Requests 3m 53s
-
مدیریت پاسخها و خطاها 2m 42s
-
کار با هدرها، کوکیها و سشنها 1m 46s
-
توجه به robots.txt و محدودیتهای نرخ 2m 36s
-
آشنایی با BeautifulSoup 2m 21s
-
پیدا کردن و استخراج داده 4m 29s
-
ناوبری و پاکسازی اچ تی ام ال 3m 2s
-
چرا از Celery استفاده کنیم؟ 1m 52s
-
راهاندازی Celery با یک Message Broker 9m 34s
-
اجرای وظایف اسکرپینگ ناهمزمان 4m 22s
-
مدیریت شکستهای وظیفه و تلاشها 6m 33s
-
معماری پایپلاین وب اسکرپینگ 1m 8s
-
پیادهسازی کل پایپلاین 7m 9s
-
ذخیره و اکسپورت داده اسکرپ شده 4m 52s
-
نظارت، لاگ کردن و بهینهسازی 6m 52s
-
جمعبندی نهایی و گامهای بعدی 1m 22s
مشخصات آموزش
پایتون - وب اسکرپینگ مقیاسپذیر و گردش کارهای API
- تاریخ به روز رسانی: 1404/12/10
- سطح دوره:متوسط
- تعداد درس:19
- مدت زمان :01:15:00
- حجم :191.0MB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy
آموزش های مرتبط
- زمان: 02:27:39
- تعداد درس: 24
-
سطح دوره:
-
زبان: دوبله فارسی
- زمان: 03:02:02
- تعداد درس: 14
-
سطح دوره:
-
زبان: دوبله فارسی
- زمان: 58:00
- تعداد درس: 12
-
سطح دوره:
-
زبان: دوبله فارسی
-
سطح دوره:
-
زبان: دوبله فارسی
- زمان: 11:25:13
- تعداد درس: 94
-
سطح دوره:
-
زبان: دوبله فارسی
- زمان: 06:58:57
- تعداد درس: 60
-
سطح دوره:
-
زبان: دوبله فارسی
- زمان: 08:11:21
- تعداد درس: 28
-
سطح دوره:
-
زبان: دوبله فارسی
- زمان: 09:44:25
- تعداد درس: 67
-
سطح دوره:
-
زبان: دوبله فارسی
- زمان: 04:52:43
- تعداد درس: 38
-
سطح دوره:
-
زبان: دوبله فارسی