آشنایی با کلان داده با اسپارک و هدوپ

آنچه یاد خواهید گرفت:

• تأثیر کلان داده را توضیح دهید، از جمله موارد استفاده، ابزارها و متدهای پردازش
• معماری Apache Hadoop، اکوسیستم، شیوه‌ها و کاربردهای مرتبط با کاربر، از جمله Hive ،HDFS ،HBase، اسپارک و MapReduce را توصیف کنید.
• اصول برنامه‌نویسی اسپارک را از جمله اصول برنامه‌نویسی موازی برای DataFrames، مجموعه‌های داده و Spark SQL به‌کار گیرید.
• از RDDها و مجموعه‌های داده اسپارک استفاده کنید، Spark SQL را با استفاده از Catalyst و Tungsten بهینه‌سازی کنید و از گزینه‌های محیط توسعه و ران تایم اسپارک استفاده کنید.

توضیحات دوره

این دوره آموزشی خودمحور از IBM به شما همه چیز درباره کلان داده را آموزش خواهد داد! شما با ویژگی‌های کلان داده و کاربرد آن‌ها در تحلیل کلان داده آشنا خواهید شد. همچنین تجربیات عملی با ابزارهای پردازش کلان داده مانند Apache Hadoop و Apache Spark خواهید داشت.

برنارد مار تعریف می‌کند که کلان داده ردپای دیجیتالی است که در این عصر دیجیتال تولید می‌کنیم. شما دوره را با درک معنا کلان داده و بررسی اینکه چگونه می‌توان بینش‌های کلان داده را برای موارد استفاده مختلف به کار برد، آغاز خواهید کرد. همچنین نحوه استفاده از فناوری‌هایی مانند پردازش موازی، مقیاس‌پذیری و موازی‌سازی داده را بررسی خواهید کرد.

سپس در مورد Hadoop، یک فریمورک متن باز که اجازه پردازش توزیع‌شده مقادیر زیادی از داده‌ها و اکوسیستم آن را می‌دهد، اطلاعات بیشتری خواهید آموخت. با کاربردهای مهمی که با Hadoop همراه است مثل Distributed File System (HDFS)، MapReduce و HBase آشنا خواهید شد. همچنین با Hive، نرم‌افزار انبار داده که یک رابط SQL مشابه برای پرسش و دستکاری مجموعه‌های داده بزرگ به‌طور کارآمد فراهم می‌کند، آشنا خواهید شد.

سپس به جزئیات Apache Spark، یک موتور پردازش متن باز که روش‌های جدیدی برای ذخیره و استفاده از کلان داده به کاربران ارائه می‌دهد، پرداخته و یاد خواهید گرفت که چگونه از اسپارک برای ارائه بینش‌های قابل اعتماد بهره ببرید. این دوره نمای کلی از پلتفرم را ارائه داده و به کامپوننت های تشکیل‌دهنده Apache Spark می‌پردازد.

شما با DataFrames آشنا خواهید شد و عملیات بنیادی DataFrame را انجام خواهید داد و با SparkSQL کار خواهید کرد. نحوه پردازش و نظارت اسپارک بر درخواست‌هایی که اپلیکیشن تان ارسال می‌کند بررسی می‌شود و همچنین یاد می‌گیرید که چگونه می‌توانید کارها را با استفاده از رابط کاربری اپلیکیشن اسپارک ردیابی کنید.

این دوره شامل چندین آزمایشگاه عملی است که به شما کمک می‌کند تا مفاهیم یادگرفته‌شده را به کار گیرید و تمرین کنید. شما آزمایشگاه‌های Hadoop و Spark را با استفاده از ابزارها و فناوری‌های مختلف از جمله Docker ،Kubernetes ،Python و Jupyter Notebooks به پایان خواهید رساند.