مهندسی داده با استفاده از تحلیل داده AWS

در این دوره با ساخت پایپ لاین های مهندسی داده در AWS با استفاده از سرویس های تحلیل داده - Glue ،EMR ،Athena ،Kinesis، لامبدا و Redshift - آشنا می شوید.

آنچه یاد خواهید گرفت

• استفاده از سرویس های مهندسی داده تحت تحلیل داده AWS
• مباحث ضروری AWS مانند s3 و IAM و EC2 و غیره
• درک AWS s3 برای ذخیره سازی مبتنی بر ابر
• درک جزئیات مربوط به ماشین های مجازی در AWS معروف به EC2
• مدیریت کاربران، گروه‌ ها، نقش‌ ها و سیاست های AWS IAM برای RBAC (کنترل دسترسی مبتنی بر نقش)
• مدیریت جداول با استفاده از AWS Glue Catalog
• مهندسی پایپ لاین های داده دسته ای با استفاده از AWS Glue Jobs
• ارکستراسیون پایپ لاین های داده دسته ای با استفاده از گردش کارهای AWS Glue
• اجرای کوئری ها با استفاده از AWS Athena - سرویس موتور کوئری بدون سرور
• استفاده از خوشه های AWS Elastic Map Reduce (EMR) برای ساخت پایپ لاین های داده
• استفاده از خوشه های AWS Elastic Map Reduce (EMR) برای گزارش ها و داشبوردها
• جذب داده با استفاده از توابع لامبدا در AWS 
• زمانبندی با استفاده از AWS Events Bridge
• مهندسی پایپ لاین های استریمینگ با استفاده از AWS Kinesis
• استریمینگ لاگ های وب سرور با استفاده از AWS Kinesis Firehose
• بررسی پردازش داده با استفاده از AWS Athena
• اجرای کوئری ها یا فرمان های AWS Athena با استفاده از CLI
• اجرای کوئری های AWS Athena با استفاده از boto3 پایتون
• ایجاد خوشه AWS Redshift، ایجاد جداول و انجام عملیات های CRUD
• کپی داده از s3 به جداول AWS Redshift
• درک استایل های توزیع و ایجاد جداول با استفاده از Distkeys
• اجرای کوئری ها روی جداول RDBMS خارجی با استفاده از کوئری های فدرال شده AWS Redshift
• اجرای کوئری ها در جداول Glue Catalog یا Athena با استفاده از AWS Redshift Spectrum

پیش نیازهای دوره

• رایانه ای با حداقل 8 گیگابایت رم
• تجربه برنامه نویسی با استفاده از پایتون بسیار مورد علاقه است زیرا برخی از مباحث با استفاده از پایتون نشان داده می شوند.
• تجربه SQL بسیار مورد نیاز است زیرا برخی از مباحث با استفاده از SQL نشان داده می شوند.
• داشتن تجربه در مهندسی داده با استفاده از Pandas یا Pyspark خوب است.
• این دوره برای مهندسان داده باتجربه ایده آل است تا سرویس های AWS Analytics را به عنوان مهارت های کلیدی به پروفایل خود اضافه کنند.

توضیحات دوره

مهندسی داده در مورد ایجاد پایپ لاین های داده برای دریافت داده از منابع متعدد به دریاچه های داده یا انبارهای داده و سپس از دریاچه های داده یا انبارهای داده به سیستم های پایین دستی است. به عنوان بخشی از این دوره، شما را با نحوه ساخت پایپ لاین های مهندسی داده با استفاده از AWS Data Analytics Stack آشنا خواهیم کرد. این امر شامل سرویس هایی مانند Glue و Elastic Map Reduce (EMR)، توابع لامبدا، Athena ،EMR ،Kinesis و بسیاری دیگر است.

در اینجا مراحل سطح بالایی وجود دارد که به عنوان بخشی از دوره دنبال خواهید کرد.

• راه اندازی محیط توسعه
• شروع کار با AWS
• ذخیره سازی - همه مطالب درباره AWS s3 (سرویس ذخیره سازی ساده)
• امنیت سطح کاربر - مدیریت کاربران، نقش‌ ها و سیاست‌ ها با استفاده از IAM
• زیرساخت AWS EC2 (Elastic Cloud Compute)
• جذب داده با استفاده از توابع لامبدا در AWS 
• بررسی کامپوننت های AWS Glue
• راه اندازی سرور Spark History برای AWS Glue Jobs
• بررسی عمیق AWS Glue Catalog
• بررسی AWS Glue Job APIs
• بوک مارک های AWS Glue Job 
• چرخه عمر توسعه Pyspark
• شروع کار با AWS EMR
• استقرار اپلیکیشن های اسپارک با استفاده از AWS EMR
• پایپ لاین استریمینگ با استفاده از AWS Kinesis
• Consume کردن داده از AWS s3 با استفاده از boto3 جذب شده با استفاده از AWS Kinesis
• Populate کردن داده گیت هاب به AWS Dynamodb
• بررسی Amazon AWS Athena
• Amazon AWS Athena با استفاده از AWS CLI
• Amazon AWS Athena با استفاده از boto3 پایتون
• شروع کار با Amazon AWS Redshift
• کپی داده از AWS s3 در جداول AWS Redshift
• توسعه اپلیکیشن ها با استفاده از خوشه AWS Redshift 
• جداول AWS Redshift با Distkey و Sortkeys
• Spectrum و کوئری های فدرال در AWS Redshift

این دوره برای چه کسانی مناسب است؟

• مهندسان داده مبتدی یا متوسط ​​که می خواهند سرویس های AWS Analytics را برای مهندسی داده یاد بگیرند.
• مهندسان اپلیکیشن سطح متوسط ​​که می خواهند مهندسی داده را با استفاده از سرویس های AWS Analytics بررسی کنند.
• مهندسان داده و تحلیل داده که می خواهند مهندسی داده را با استفاده از سرویس های AWS Analytics یاد بگیرند.
• متخصصان تست که می خواهند مهارت های کلیدی را برای تست اپلیکیشن های مهندسی داده که با استفاده از سرویس های AWS Analytics ساخته شده اند، بیاموزند.