آشنایی با Spark SQL در پایتون

یادگیری Spark SQL

اگر با SQL آشنا هستید و چیزهای خوبی درباره Apache Spark شنیده‌اید، این دوره برای شماست. Apache Spark یک چارچوب محاسباتی برای پردازش داده‌ بزرگ است و Spark SQL یک کامپوننت از Apache Spark می‌باشد. این دوره چهار ساعته به شما نشان می‌دهد که چگونه با استفاده از ویژگی‌های پیشرفته SQL، مانند توابع پنجره‌ای، Spark را به سطح جدیدی از کارآیی برسانید.

در طول چهار فصل، از Spark SQL برای تحلیل داده‌ سری زمانی، استخراج رایج‌ترین کلمات از یک سند متنی، ایجاد مجموعه‌های ویژگی از متن زبان طبیعی و استفاده از آن‌ها برای پیش‌بینی آخرین کلمه در یک جمله با استفاده از رگرسیون لجستیک بهره خواهید برد.

کاربردهای Spark SQL را کشف کنید.

شما با ایجاد و کوئری یک جدول SQL در Spark شروع می‌کنید و همچنین یاد می‌گیرید که چگونه از توابع پنجره‌ای SQL برای انجام مجموع‌های متحرک، تفاوت‌های متحرک و سایر عملیات استفاده کنید.

سپس، چگونگی استفاده از تابع پنجره‌ای در Spark SQL برای پردازش زبان طبیعی را کاوش خواهید کرد، از جمله استفاده از تحلیل پنجره متحرک برای یافتن توالی‌های کلمات رایج.

در فصل 3، یاد خواهید گرفت که چگونه از رابط کاربری SQL Spark برای کش صحیح DataFrameها و جداول SQL استفاده کنید و سپس بهترین شیوه ها برای لاگ کردن در Spark را بررسی خواهید کرد.

در نهایت، از تمام مهارت‌های آموخته شده تاکنون برای بارگذاری و توکن‌سازی متن خام قبل از استخراج توالی‌های کلمه استفاده خواهید کرد. سپس از رگرسیون لجستیک برای طبقه‌بندی متن استفاده کرده و داده‌ خام زبان طبیعی را برای آموزش یک طبقه‌بند متنی به کار خواهید گرفت.

دریافت یک معرفی کامل به Spark SQL

در پایان دوره، درک محکمی از Spark SQL خواهید داشت و درک خواهید کرد که چگونه Spark قدرت محاسبات توزیع‌شده را با سهولت استفاده از پایتون و SQL ترکیب می‌کند.