مسترکلاس کامل AWS Redshift

آنچه یاد خواهید گرفت:

• راه‌اندازی Amazon Redshift (Serverless و Provisioned) با نقش‌های درست IAM، مبانی شبکه‌سازی و رمزنگاری KMS
• بارگذاری داده در Redshift با استفاده از COPY (S3، مانیفست‌ها، فشرده‌سازی، الگوهای JSON/Parquet و مدیریت خطا)
• خودکارسازی بارگذاری‌های Redshift با Redshift Job Scheduler و الگوهای ارکستراسیون به سبک EventBridge
• ساخت گردش‌کارهای ELT در Redshift با استفاده از رویه‌های ذخیره شده (atomic و non-atomic)، MERGE و UDFs و materialized views
• استفاده از Redshift Data API همراه با AWS Lambda و boto3 برای اجرای امن SQL بدون اتصال‌های بلندمدت
• کوئری داده‌ S3 با Redshift Spectrum از طریق ایجاد جداول خارجی با AWS Glue Data Catalog
• ایجاد views و جوین کردن جداول خارجی Spectrum با جداول داخلی Redshift برای گردش‌کارهای تحلیلی
• اشتراک‌گذاری داده لایو با Redshift Datashare، شامل الگوهای اشتراک‌گذاری بین حساب‌ها و مجوزها
• استفاده از Federated Query برای دسترسی به داده‌ RDS/Aurora از Redshift و درک موازنه‌های عملکردی
• جذب داده‌ streaming به Redshift با استفاده از الگوهای مبتنی بر Kinesis و طراحی برای تحلیل نزدیک به بلادرنگ
• عیب‌یابی مشکلات عملکردی: انتظار در صف WLM و spill و skew و گلوگاه‌های همزمانی در workloadهای واقعی
• به‌کارگیری بهترین شیوه‌های عملیاتی: طراحی امنیتی VACUUM و ANALYZE و GRANT و عادت‌های نظارت بر محیط تولید

پیش‌نیازهای دوره

• آشنایی پایه با SQL (SELECT و JOIN و GROUP BY) مفید است.
• آشنایی پایه با AWS (ناوبری در کنسول) مفید است، اما الزامی نیست.
• حساب AWS برای انجام آزمایش‌های عملی (Free Tier در صورت امکان؛ برخی سرویس‌ها ممکن است هزینه‌های کمی داشته باشند.)
• یک لپ‌تاپ یا رایانه رومیزی با اینترنت
• اختیاری: آشنایی پایه با Python اگر بخواهید دموهای Lambda + boto3 Data API را دنبال کنید (همه موارد را گام‌به‌گام توضیح می‌دهیم.)
• نیازی به تجربه قبلی با Redshift نیست. ما از اصول اولیه شروع می‌کنیم و تا گردش‌کارهای تولید پیش می‌رویم.

توضیحات دوره

این دوره شامل استفاده از هوش مصنوعی است. این یک مسترکلاس عملی Amazon Redshift برای مهندسان داده و تحلیل‌گران SQL-محور است که می‌خواهند فراتر از نوشتن کوئری بروند و یاد بگیرند چگونه Redshift را در محیط‌های واقعی تولید، طراحی، پیاده‌سازی و مدیریت کنند.

دوره با اصول اولیه و معماری Redshift آغاز می‌شود و سپس به راه‌اندازی درست Redshift Serverless و Provisioned از جمله اصول عملی مانند IAM و KMS، مجوزها (GRANT) و مفاهیم اصلی workload می‌پردازد.

در ادامه، دوره روی جذب داده واقعی با استفاده از فرمان COPY و تمرین‌های عملی متعدد با همه گزینه‌های مختلف برای جذب داده در Redshift تمرکز می‌کند.

سپس، پردازش داده در داخل Redshift را با رویکردهای عملی برای همه قابلیت‌های پردازش داده ارائه‌ شده توسط Redshift مانند Unload، رویه‌های ذخیره شده، Materialized View و UDF و موارد بسیار دیگر پوشش می‌دهد.

همچنین، با مثال‌های عملی نشان می‌دهد Redshift چگونه با سایر سرویس‌های AWS ارتباط برقرار می‌کند، از جمله:

• Redshift Data API با Lambda و boto3
• Redshift Spectrum (جداول خارجی و viewها روی S3 با استفاده از Glue Data Catalog)
• اسکیماهای خارجی و کوئری داده‌ خارجی
• اشتراک‌گذاری داده بین حساب‌ها (Datashare)
• Federated query به RDS
• Streaming ingestion با استفاده از Kinesis

در نهایت، دوره با مباحث عملیات‌ها و بهینه‌سازی عملکرد (نظارت، skew و spills و queue waits و vacuum/analyze، موازنه‌های همزمانی) جمع‌بندی می‌شود و با قابلیت‌های مدرن مانند Redshift ML و Zero-ETL به پایان می‌رسد - اینکه هرکدام کجا مناسب‌ هستند، چه زمانی مناسب نیستند و محدودیت‌هایشان چیست.

در پایان، یک مجموعه مهارت عملی و آماده برای تولید در Redshift خواهید داشت که می‌توانید بلافاصله به کار بگیرید.

این دوره برای چه کسانی مناسب است؟

• مهندسان داده و مهندسان تحلیل داده که به دنبال مهارت‌های آماده برای تولید در Amazon Redshift هستند.
• تحلیل‌گران SQL-محور که می‌خواهند جذب داده، عملکرد و یکپارچگی‌های واقعی AWS (Spectrum و Data API و Datashare) را درک کنند.
• توسعه‌دهندگان AWS که پایپ‌لاین‌هایی با S3 و Glue و Lambda و Kinesis و Redshift می‌سازند.
• کسی که برای مصاحبه یا کارهای شغلی مرتبط با COPY و Spectrum، بهینه‌سازی عملکرد و معماری Redshift آماده می‌شود.