کلان‌ داده: Hadoop - MapReduce - Hive - Pig - NoSQL - Mahout - Oozie

آنچه یاد خواهید گرفت:

• مقدمه‌ای بر کلان‌داده و Hadoop. مروری بر آموزش Hadoop. سناریوی کلان‌داده Hadoop. معماری Hadoop و HDFS
• فایل سیستم توزیع‌شده Hadoop. اصول Hadoop MapReduce. تکنیک‌های پیشرفته MapReduce. اصول و مفاهیم پیشرفته HIVE.
• مبانی و تکنیک‌های پیشرفته PIG. اصول NoSQL. Apache Mahout برای یادگیری ماشین. Apache Oozie برای ارکستراسیون گردش کار
• Apache Flume برای دریافت داده. Apache Storm برای پردازش داده بلادرنگ. Apache Avro برای سریال‌سازی داده. اصول و مفاهیم پیشرفته Apache Spark
• پروژه‌های عملی Hadoop در حوزه‌های گوناگون. Hadoop در محیط Cloudera. تحلیل داده لاگ با Hadoop. تحلیل شبکه‌های اجتماعی با Hadoop
• تحلیل داده YouTube با Hadoop. تحلیل نظرسنجی سلامت با استفاده از HDFS. تحلیل تخلفات ترافیکی. تحلیل فروش تجارت الکترونیک.
• Hive/MapReduce برای تحلیل شکایات مشتریان. تحلیل داده حسگر با استفاده از PIG/MapReduce و Spark Streaming برای تحلیل داده توییتر
• تحلیل صنعت مخابرات با استفاده از Hive مدیریت داده اعضای هیئت علمی با HDFS تحلیل نظرسنجی گردشگری. تحلیل حقوق و دستمزد
• درک جامع از فناوری‌های کلان‌داده

پیش‌نیازهای دوره

• دانش اولیه کامپیوتر
• دانش اولیه جاوا و SQL یک مزیت محسوب می‌شود.
• به دانش قبلی نیاز نیست. دوره از ابتدا شروع می‌شود و با پروژه‌های گوناگون به سطح پیشرفته می‌رسد.
• برای شرکت در این دوره Hadoop به مهارت خاصی نیاز ندارید.

توضیحات دوره

به دوره جامع کلان‌داده و Hadoop خوش آمدید! در این دوره، به بررسی دنیای فناوری‌های کلان‌داده می‌پردازیم و بر روی Hadoop، یکی از قدرتمندترین و پرکاربردترین چارچوب‌ها برای پردازش مجموعه‌داده بزرگ، تمرکز می‌کنیم.

در طول این دوره، اصول Hadoop شامل معماری، کامپوننت ها و کاربردهای آن را فرا خواهید گرفت. همه چیز را از اصول اولیه کلان‌داده و Hadoop تا مباحث پیشرفته‌ای مانند MapReduce ،HDFS ،Hive ،Pig و موارد دیگر پوشش خواهیم داد.

چه مبتدی باشید که به دنبال درک اصول کلان‌داده است و چه یک متخصص باتجربه که به دنبال ارتقای مهارت‌های خود در فناوری‌های اکوسیستم Hadoop است، این دوره برای همه چیزی دارد. آماده شوید تا حوزه هیجان‌انگیز کلان‌داده را بررسی کنید و قدرت Hadoop را برای حل چالش‌های داده در دنیای واقعی آزاد کنید. به ما در این سفر بپیوندید تا پتانسیل کلان‌داده را با هم آزاد کنیم! مباحث زیر را به تفکیک بخش فرا خواهیم گرفت:

بخش 1: مقدمه‌ای بر آموزش کلان‌داده و Hadoop

در این بخش، دانشجویان با مفاهیم اساسی آموزش کلان‌داده و Hadoop آشنا می‌شوند. آن‌ها با درک اهمیت Hadoop در مدیریت کارآمد حجم عظیمی از داده، کار خود را آغاز می‌کنند. از طریق یک سری جلسات مقدماتی، یادگیرندگان با چشم‌انداز فناوری کلان‌داده و Hadoop آشنا می‌شوند و زمینه را برای بررسی عمیق‌تر در بخش‌های بعدی فراهم می‌کنند.

بخش 2: معماری Hadoop و HDFS

این بخش با حرکت به سمت معماری Hadoop و فایل سیستم توزیع‌شده آن (HDFS)، به بررسی کامپوننت های اصلی Hadoop 1.0 می‌پردازد. دانشجویان در مورد لایه ذخیره‌سازی Hadoop و سیاست‌های جانمایی حاکم بر توزیع داده در سراسر خوشه، بینش پیدا می‌کنند. از طریق تمرین‌های عملی و آموزش‌های راه‌اندازی خوشه، یادگیرندگان درک محکمی از معماری Hadoop و پیاده‌سازی عملی آن در سناریوهای واقعی به دست می‌آورند.

بخش 3: اصول MapReduce

در این بخش، دانشجویان به بررسی اصول MapReduce، یکی از کامپوننت اصلی Hadoop برای پردازش و تحلیل موازی مجموعه‌داده بزرگ، می پردازند. از طریق یک سری سخنرانی، یادگیرندگان مفاهیم کلیدی مانند مرتب‌سازی ثانویه، کلیدهای ترکیبی و اهمیت پارتیشن‌بندی را بررسی می‌کنند. آن‌ها با کار روی برنامه‌های نمونه، درک joinهای سمت map و پیاده‌سازی combinerها برای پردازش کارآمد داده، تجربه عملی در برنامه‌نویسی MapReduce به دست می‌آورند.

بخش 4: MapReduce پیشرفته

این بخش بر اساس دانش اساسی MapReduce، به مباحث و تکنیک‌های پیشرفته‌تری برای بهینه‌سازی برنامه‌های MapReduce می‌پردازد. دانشجویان در مورد اجرا و اشکال‌زدایی برنامه‌های MapReduce، کار با فرمت‌های مختلف فایل و استفاده از قابلیت‌های پیشرفته MapReduce برای کارهایی مانند پردازش لاگ و اکسپورت کردن داده می‌آموزند. تا پایان این بخش، یادگیرندگان به مهارت‌هایی برای مقابله با چالش‌های پیچیده پردازش داده با استفاده از MapReduce مجهز می‌شوند.

بخش 5: اصول HIVE

در این بخش، دانشجویان با Apache Hive، یک زیرساخت انبار داده ساخته شده روی Hadoop برای کوئری و تحلیل مجموعه‌داده بزرگ ذخیره‌شده در HDFS، آشنا می‌شوند. از طریق یک سری سخنرانی، یادگیرندگان معماری Hive، مفاهیم مدل‌سازی داده و زبان کوئری آن (HiveQL) را بررسی می‌کنند. آن‌ها یاد می‌گیرند چگونه پایگاه‌های داده و جدول‌ها را ایجاد و مدیریت کنند، عملیات بارگذاری داده را انجام دهند و کوئری های شبه SQL مختلفی را برای استخراج بینش از داده ساختاریافته اجرا کنند.

بخش 6: Hive پیشرفته

این بخش با گسترش دانش بنیادین Hive، مباحث و تکنیک‌های پیشرفته را برای بهینه‌سازی پرس‌وجوهای Hive و گردش‌های کاری پردازش داده پوشش می‌دهد. دانشجویان در مورد پارتیشن‌بندی، bucketing، ایندکس‌گذاری و سایر راهبردهای بهینه‌سازی عملکرد برای افزایش کارایی پرس‌وجو و مقیاس‌پذیری می‌آموزند. علاوه بر این، ویژگی‌های پیشرفته‌ای مانند نمونه‌برداری جدول، بایگانی و کار با ابعاد با تغییر آهسته (SCD) را برای پاسخگویی مؤثر به نیازهای پیچیده تحلیل داده بررسی می‌کنند.

بخش 7: اصول PIG

در این بخش، دانشجویان Apache Pig، یک زبان اسکریپت‌نویسی جریان داده سطح بالا برای پردازش و تحلیل مجموعه‌داده بزرگ در Hadoop را بررسی می‌کنند. از طریق یک سری سخنرانی، یادگیرندگان ویژگی‌های Pig، انواع داده و عملگرهای آن را برای بیان مختصر تبدیل‌های داده و تسک های تحلیلی کشف می‌کنند. آن‌ها با بارگذاری و ذخیره‌سازی داده، عملیات گروه‌بندی و join و استفاده از توابع داخلی برای انجام کارآمد تسک های دستکاری داده، تجربه عملی به دست می‌آورند.

بخش 8: PIG پیشرفته

این بخش بر اساس دانش اساسی Pig، به مباحث و تکنیک‌های پیشرفته برای بهینه‌سازی اسکریپت‌های Pig و گردش‌های کاری پردازش داده می‌پردازد. دانشجویان در مورد تکنیک‌های اشکال‌زدایی، استفاده از توابع تعریف‌شده توسط کاربر (UDF) و کار با انواع داده پیچیده برای رسیدگی مؤثر به نیازهای مختلف پردازش داده می‌آموزند. علاوه بر این، راهبردهایی برای بهبود عملکرد اسکریپت Pig و مقیاس‌پذیری آن در محیط‌های پردازش داده در مقیاس بزرگ بررسی می‌کنند.

بخش 9: اصول NoSQL

این بخش مقدمه‌ای بر پایگاه‌های داده NoSQL ارائه می‌دهد و تاریخچه، ویژگی‌ها و مزایای آن‌ها را در مدیریت انواع داده متنوع و سریع‌تغییر پوشش می‌دهد. دانشجویان در مورد انواع مختلف پایگاه‌های داده NoSQL، از جمله مبتنی بر سند، ستونی و گرافی می‌آموزند و مناسب بودن آن‌ها را برای موارد استفاده مختلف درک می‌کنند. علاوه بر این، یادگیرندگان مفاهیم کلیدی مانند انعطاف‌پذیری schema، مدل‌های سازگاری و معماری توزیع‌شده را بررسی کرده و برای مدیریت و کوئری داده در محیط‌های NoSQL بینش کسب می‌کنند.

بخش 10: Apache Mahout

در این بخش، دانشجویان Apache Mahout، یک کتابخانه یادگیری ماشین مقیاس‌پذیر ساخته شده روی Hadoop برای ساخت و استقرار مدل‌های یادگیری ماشین در مقیاس بزرگ را بررسی می‌کنند. از طریق یک سری درس و تمرین‌های عملی، یادگیرندگان معماری Mahout، الگوریتم‌ها و موارد استفاده آن را در سناریوهای واقعی کشف می‌کنند. آن‌ها تجربه عملی در پیاده‌سازی سیستم‌های توصیه‌گر، خوشه‌بندی، طبقه‌بندی و سایر تسک های یادگیری ماشین با استفاده از APIها و ابزارهای Mahout به دست می‌آورند.

بخش 11: Apache Oozie

این بخش Apache Oozie، یک سیستم زمان‌بند گردش کار برای مدیریت jobهای Hadoop و گردش‌های کاری پردازش داده را معرفی می‌کند. دانشجویان در مورد معماری Oozie، زبان تعریف گردش کار و اقدامات مختلف گردش کار برای هماهنگی و ارکستراسیون پایپ لاین های پیچیده پردازش داده می‌آموزند. از طریق تمرین‌های عملی، یادگیرندگان در ایجاد، زمان‌بندی و نظارت بر گردش‌های کار با استفاده از Oozie مهارت پیدا می‌کنند و قادر می‌شوند تسک های پردازش داده را به طور مؤثر خودکار و ساده‌سازی کنند.

بخش 12: Apache Flume

در این بخش، دانشجویان Apache Flume، یک سیستم توزیع‌شده، قابل اعتماد و در دسترس را برای جمع‌آوری، تجمیع و جابه‌جایی کارآمد حجم زیادی از داده لاگ از منابع مختلف به فروشگاه‌های داده متمرکز بررسی می‌کنند. از طریق درس ها و نمایش‌های عملی، یادگیرندگان معماری Flume، کامپوننت و مدل جریان داده را برای دریافت و پردازش داده لاگ در محیط‌های Hadoop درک می‌کنند. آن‌ها در پیکربندی عامل‌های Flume، تعریف پایپ لاین دریافت داده و نظارت بر جریان‌های داده برای پردازش بلادرنگ لاگ، تجربه عملی به دست می‌آورند.

بخش 13: Apache Storm

این بخش Apache Storm، یک سیستم پردازش جریانی بلادرنگ توزیع‌شده را برای پردازش جریان‌های داده با سرعت بالا با تأخیر کم و تحمل خطا معرفی می‌کند. دانشجویان در مورد معماری Storm، کامپوننت و مدل پردازش جریان، از جمله spoutها، boltها و توپولوژی‌ها می‌آموزند. از طریق تمرین‌های عملی، یادگیرندگان در راه‌اندازی خوشه‌های Storm، توسعه و استقرار توپولوژی‌های پردازش جریان و مدیریت جریان‌های داده بلادرنگ برای موارد استفاده مختلف مانند تحلیل‌های بلادرنگ، پردازش رویداد و موارد دیگر، تجربه عملی به دست می‌آورند.

بخش 14: Apache Avro

در این بخش، دانشجویان به بررسی Apache Avro، یک سیستم سریال‌سازی داده که ساختارهای داده غنی، فرمت باینری فشرده و یک مدل داده شبیه JSON را برای تبادل کارآمد داده بین اپلیکیشن ها فراهم می‌کند، می پردازنند. یادگیرندگان زبان تعریف schema، انواع داده پشتیبانی‌شده و ادغام با سایر ابزارهای کلان‌داده مانند Apache Sqoop را بررسی می‌کنند. از طریق مثال‌ها و تمرین‌های عملی، دانشجویان در استفاده از Avro برای سریال‌سازی داده، تکامل schema و قابلیت همکاری در اکوسیستم‌های Hadoop مهارت پیدا می‌کنند.

بخش 15: اصول Apache Spark

این بخش مقدمه‌ای بر Apache Spark، یک چارچوب محاسبات خوشه‌ای سریع و همه‌منظوره را برای پردازش مجموعه‌داده بزرگ با سرعت بالا و سهولت استفاده ارائه می‌دهد. دانشجویان در مورد کامپوننت های اصلی Spark، از جمله Spark Context، مجموعه‌داده توزیع‌شده مقاوم (RDD) و تبدیل‌ها/اقدامات برای پردازش داده توزیع‌شده می‌آموزند. از طریق آزمایشگاه‌های عملی و نمایش‌ها، یادگیرندگان در کار با RDDها، اعمال تبدیل‌ها/اقدامات و انجام تسک های اولهی تحلیل داده با استفاده از APIهای Spark تجربه عملی به دست می‌آورند.

بخش 16: Apache Spark پیشرفته

این بخش بر اساس اصول، عمیق‌تر به مفاهیم و ویژگی‌های پیشرفته Apache Spark می‌پردازد و دانشجویان را قادر می‌سازد تا به طور مؤثر با چالش‌های پیچیده پردازش داده و تحلیل مقابله کنند. یادگیرندگان مباحثی مانند اتصال Spark به منابع داده خارجی، کار با Spark SQL برای پردازش داده ساختاریافته و استفاده از کتابخانه‌های یادگیری ماشین و پردازش گراف Spark برای تسک های تحلیل پیشرفته را بررسی می‌کنند. از طریق ترکیبی از درس ها و تمرین‌های عملی، دانشجویان مهارت‌های پیشرفته‌ای در ساخت پایپ لاین های پردازش داده سرتاسری و استقرار مدل‌های یادگیری ماشین با استفاده از Spark توسعه می‌دهند.

بخش 17: پروژه Hadoop 01 - تحلیل داده فروش

در این بخش مبتنی بر پروژه‌، دانشجویان دانش خود را از Hadoop و فناوری‌های مرتبط برای تحلیل داده فروش و استخراج بینش‌های عملی به کار می‌گیرند. یادگیرندگان از طریق عبارات مسئله مختلف، مانند محاسبه میانگین فروش، تحلیل روندهای فروش و بخش‌بندی مشتریان بر اساس رفتار خرید، کار می‌کنند. با تکمیل این پروژه، دانشجویان تجربه عملی در تحلیل داده، ابزارهای اکوسیستم Hadoop و سناریوهای پردازش داده در دنیای واقعی به دست می‌آورند.

بخش 18: پروژه Hadoop 02 - تحلیل نظرسنجی گردشگری

این بخش با ادامه یادگیری مبتنی بر پروژه‌، بر تحلیل داده نظرسنجی گردشگری با استفاده از فناوری‌های Hadoop تمرکز دارد. دانشجویان روی تسک های مانند محاسبه میانگین هزینه‌کرد گردشگران، تحلیل جمعیت‌شناختی و شناسایی روندهای ترجیحات گردشگری کار می‌کنند. از طریق تمرین‌های عملی و پروژه‌های راهنما، یادگیرندگان مهارت‌های خود را در دستکاری داده، کوئری و مصورسازی برای استخراج بینش‌های ارزشمند برای صنعت گردشگری به کار می‌گیرند.

بخش 19: پروژه Hadoop 03 - مدیریت داده اعضای هیئت علمی

در این پروژه، دانشجویان به تسک مدیریت داده اعضای هیئت علمی در یک مؤسسه آموزشی با استفاده از راهکارهای مبتنی بر Hadoop می‌پردازند. یادگیرندگان روی تسک هایی مانند دریافت داده، طراحی schema، تبدیل داده و کوئری برای ایجاد یک سیستم مدیریت داده جامع برای اعضای هیئت علمی کار می‌کنند. با تکمیل این پروژه، دانشجویان تجربه عملی در طراحی و پیاده‌سازی راهکارهای مدیریت داده با استفاده از فناوری‌های Hadoop به دست می‌آورند.

بخش 20: پروژه Hadoop 04 - تحلیل فروش تجارت الکترونیک

در این پروژه، دانشجویان به بررسی تحلیل داده فروش تجارت الکترونیک با استفاده از ابزارها و تکنیک‌های Hadoop می‌پردازند. آن‌ها روی تسک هایی مانند بخش‌بندی مشتریان، تحلیل عملکرد محصول و پیش‌بینی فروش برای استخراج بینش‌های ارزشمند برای کسب‌وکارهای تجارت الکترونیک کار می‌کنند. با به کارگیری دانش خود از کامپوننت های اکوسیستم Hadoop، تکنیک‌های پردازش داده و متدولوژی تحلیل، دانشجویان تجربه عملی در حل چالش‌های واقعی در حوزه تجارت الکترونیک به دست می‌آورند.

بخش 21: پروژه Hadoop 05 - تحلیل حقوق و دستمزد

این پروژه حول تحلیل داده حقوق و دستمزد با استفاده از رویکردهای مبتنی بر Hadoop می‌چرخد. دانشجویان در تسک هایی مانند شناسایی الگوها در توزیع حقوق، محاسبه میانگین حقوق به تفکیک بخش و تحلیل روندهای جبران خدمات کارمندان شرکت می‌کنند. از طریق تمرین‌های عملی و تسک های تحلیل داده، یادگیرندگان مهارت‌های خود را در دستکاری داده، تحلیل آماری و استخراج بینش‌های عملی از مجموعه‌داده حقوق و دستمزد در مقیاس بزرگ افزایش می‌دهند.

بخش 22: پروژه Hadoop 06 - تحلیل نظرسنجی سلامت با استفاده از HDFS

در این پروژه، دانشجویان تحلیل داده نظرسنجی سلامت را با استفاده از فایل سیستم توزیع‌شده Hadoop (HDFS) و فناوری‌های مرتبط انجام می‌دهند. آن‌ها روی تسک های مانند پیش‌پردازش داده، تحلیل روند و نقشه‌برداری جغرافیایی شاخص‌های سلامت برای کسب بینش در مورد روندها و مسائل سلامت عمومی کار می‌کنند. از طریق پروژه‌های عملی و تسک های مصورسازی داده، یادگیرندگان در استفاده از Hadoop برای تحلیل داده سلامت و تصمیم‌گیری در محیط‌های مراقبت سلامت مهارت پیدا می‌کنند.

بخش 23: پروژه Hadoop 07 - تحلیل تخلفات ترافیکی

در این پروژه، دانشجویان تحلیل داده تخلفات ترافیکی را با استفاده از ابزارها و چارچوب‌های Hadoop بررسی می‌کنند. آن‌ها روی تسک هایی مانند دریافت داده از منابع مختلف، تحلیل مکانی تخلفات ترافیکی و شناسایی الگوها در داده تخلفات رانندگی کار می‌کنند. با اعمال راهکارهای مبتنی بر Hadoop برای تحلیل داده ترافیکی، یادگیرندگان تجربه عملی در درک الگوهای ترافیکی، بهبود ایمنی جاده‌ها و اجرای مداخلات داده‌محور برای مدیریت مؤثر تخلفات ترافیکی به دست می‌آورند.

بخش 24: پروژه Hadoop 08 - یادگیری PIG/MapReduce - تحلیل مجموعه‌داده وام

این پروژه بر تحلیل مجموعه‌داده وام با استفاده از ترکیبی از تکنیک‌های Apache Pig و MapReduce تمرکز دارد. دانشجویان در تسک هایی مانند پیش‌پردازش داده، محاسبه معیارهای ریسک و تولید گزارش‌هایی در مورد عملکرد وام شرکت می‌کنند. از طریق تمرین‌های عملی و تکالیف کدنویسی، یادگیرندگان در استفاده از اسکریپت‌های Pig Latin، پیاده‌سازی الگوریتم‌های MapReduce و انجام تحلیل بر روی مجموعه‌داده وام در مقیاس بزرگ برای پشتیبانی از فرآیندهای تصمیم‌گیری مالی مهارت پیدا می‌کنند.

بخش 25: پروژه Hadoop 09 - HIVE - مطالعه موردی صنعت مخابرات

در این پروژه، دانشجویان به بررسی مطالعه موردی متمرکز بر تحلیل داده صنعت مخابرات با استفاده از Apache Hive می‌پردازند. آن‌ها روی تسک هایی مانند مدل‌سازی داده، بهینه‌سازی پرس‌وجو و تنظیم عملکرد برای استخراج بینش‌های معنادار از مجموعه‌داده مخابراتی کار می‌کنند. از طریق تمرین‌های عملی و کوئری های مبتنی بر SQL در Hive، یادگیرندگان تجربه عملی در انبار داده، هوش تجاری و سیستم‌های پشتیبانی تصمیم متناسب با حوزه مخابرات به دست می‌آورند.

بخش 26: پروژه Hadoop 10 - یادگیری HIVE/MapReduce - تحلیل شکایات مشتریان

این پروژه حول تحلیل داده شکایات مشتریان با استفاده از ترکیبی از تکنیک‌های Hive و MapReduce می‌چرخد. دانشجویان در تسک هایی مانند پیش‌پردازش داده، تحلیل احساسات و شناسایی روند برای درک الگوهای بازخورد مشتریان و بهبود کیفیت خدمات شرکت می‌کنند. با استفاده از Hive برای کوئری داده و MapReduce برای تحلیل‌های پیچیده، یادگیرندگان مهارت‌های ارزشمندی در تحلیل مشتریان و افزایش تجربه مشتری در صنایع مختلف به دست می‌آورند.

بخش 27: پروژه Hadoop 11 - یادگیری HIVE/PIG/MapReduce/Sqoop - تحلیل شبکه‌های اجتماعی

در این پروژه، دانشجویان به تحلیل داده شبکه‌های اجتماعی با استفاده از ترکیبی از ابزارهای اکوسیستم Hadoop از جمله Hive ،Pig ،MapReduce و Sqoop می‌پردازند. آن‌ها روی تسک هایی مانند استخراج داده، تحلیل احساسات و مدل‌سازی رفتار کاربر برای درک روندها و الگوها در تعاملات شبکه‌های اجتماعی کار می‌کنند. از طریق تمرین‌های عملی و تسک های پردازش داده، یادگیرندگان بینش‌هایی در مورد تحلیل شبکه‌های اجتماعی، بهینه‌سازی محتوا و راهبردهای تعامل مخاطب به دست می‌آورند.

بخش 28: پروژه Hadoop 12 - HIVE/PIG - تحلیل داده حسگر

این پروژه بر تحلیل داده حسگر با استفاده از Apache Hive و Pig برای پردازش داده و تحلیل تمرکز دارد. دانشجویان در تسک هایی مانند پاک‌سازی داده، تشخیص ناهنجاری و مدل‌سازی پیش‌بینانه برای استخراج بینش‌های عملی از جریان‌های داده تولیدشده توسط حسگر شرکت می‌کنند. با اعمال راهکارهای مبتنی بر Hadoop برای تحلیل داده حسگر، یادگیرندگان تجربه عملی در تحلیل اینترنت اشیا (IoT) و استفاده از داده حسگر برای اپلیکیشن های مختلف مانند نگهداری پیش‌بینانه و نظارت بر محیط زیست به دست می‌آورند.

بخش 29: پروژه Hadoop 13 - یادگیری PIG/MapReduce - تحلیل داده YouTube

در این پروژه، دانشجویان تحلیل داده YouTube را با استفاده از ترکیبی از Pig و MapReduce انجام می‌دهند. آن‌ها روی تسک هایی مانند پیش‌پردازش داده، شناسایی روند و تحلیل رفتار کاربر برای کشف بینش‌هایی در مورد الگوهای مصرف محتوای YouTube و تعامل مخاطب کار می‌کنند. با استفاده از Pig برای تبدیل داده و MapReduce برای تحلیل‌های پیچیده، یادگیرندگان تجربه عملی در تحلیل کلان‌داده اعمال‌شده بر روی پلتفرم‌های رسانه دیجیتال به دست می‌آورند.

بخش 30: اصول Hadoop و HDFS در Cloudera

این بخش دانش اساسی درباره Hadoop و HDFS (فایل سیستم توزیع‌شده Hadoop) را با استفاده از محیط Cloudera ارائه می‌دهد. دانشجویان در مورد مفاهیم کلان‌داده، ذخیره‌سازی و پردازش توزیع‌شده، همراه با جنبه‌های عملی مانند پیکربندی فراداده و دسترسی به HDFS از طریق رابط‌های مختلف می‌آموزند. از طریق تمرین‌های عملی و بررسی اکوسیستم Hadoop در Cloudera، یادگیرندگان درک محکمی از اصول Hadoop و کاربردهای عملی آن در سناریوهای واقعی به دست می‌آورند.

بخش 31: تحلیل داده لاگ با Hadoop

در این بخش، دانشجویان به بررسی تحلیل داده لاگ با استفاده از ابزارها و تکنیک‌های Hadoop می پردازند. آن‌ها یاد می‌گیرند که چگونه فایل‌های لاگ را به طور کارآمد با استفاده از برنامه‌های MapReduce خلاصه و پردازش کنند و در مورد عملکرد سیستم، رفتار کاربر و حوادث امنیتی بینش کسب کنند. با نوشتن برنامه‌های MapReduce و اجرای آن‌ها روی داده لاگ، یادگیرندگان مهارت‌هایی در تحلیل داده لاگ، عیب‌یابی و بهینه‌سازی سیستم که برای عملیات IT و مدیریت امنیت ضروری است، توسعه می‌دهند.

این دوره برای چه کسانی مناسب است؟

• تحلیلگران داده که به دنبال ارتقای مهارت‌های خود در فناوری‌های کلان‌داده هستند.
• مهندسان نرم‌افزار که به انتقال به حوزه کلان‌داده علاقه دارند.
• متخصصان IT که هدف آن‌ها تخصص در ابزارها و فناوری‌های اکوسیستم Hadoop است.
• دانشمندان داده که به دنبال استفاده از Hadoop برای پردازش و تحلیل داده در مقیاس بزرگ هستند.
• متخصصان هوش تجاری (BI) که به استفاده از کلان‌داده برای بینش و تصمیم‌گیری علاقه دارند.
• فارغ‌التحصیلان و دانشجویانی که آرزوی ساختن حرفه‌ای در کلان‌داده و Hadoop دارند.
• متخصصان صنایع گوناگون که به دنبال کسب مهارت در تحلیل کلان‌داده هستند.
• افرادی که به ارتقا یا تغییر مهارت برای مرتبط ماندن در حوزه به‌سرعت در حال تحول علم داده و تحلیل علاقه دارند.