مسترکلاس Snowflake برای مهندسان داده - AWS - از صفر تا متخصص

آنچه یاد خواهید گرفت:

• یاد بگیرید چگونه داده‌ها را در Snowflake بارگذاری کنید.
• یاد بگیرید چگونه داده‌ها را در Snowflake میتوان Mask دهید.
• یاد بگیرید چگونه از Time Travel در Snowflake استفاده کنید.
• یاد بگیرید چگونه داده‌ها را در Snowflake کلون کنید.
• کار با Hybrid Tables ،Dynamic Tables ،Event Tables و Iceberg Tables را یاد بگیرید.

پیش‌نیازهای دوره

• دانش اولیه SQL
• دانش اولیه AWS (s3)

توضیحات دوره

مهارت‌های خود در مهندسی داده و تحلیل ابری را با این مستر کلاس جامع Snowflake ارتقا دهید. این دوره به طور خاص برای متخصصانی طراحی شده که از (AWS) Amazon Web Services استفاده می‌کنند. این دوره فشرده به طور عمیق به پیچیدگی‌های Snowflake Data Cloud می‌پردازد و شما را به دانش عملی و تجربه کارآمد برای طراحی، ساخت، بهینه‌سازی و مدیریت راه‌حل‌های داده قدرتمند بر روی AWS مجهز می‌کند.

دوره با درک اولیه از معماری منحصربه‌فرد Snowflake و ادغام یکپارچه آن با اکوسیستم AWS آغاز می‌شود. سپس، شما در طول گردش‌کارهای حیاتی مهندسی داده پیش خواهید رفت. یاد خواهید گرفت که چگونه منابع داده متنوع، شامل فرمت‌های ساختاریافته و نیمه‌ساختاریافته را به طور کارآمد وارد کنید. این کار با استفاده از ابزارهای قدرتمندی مانند Snowpipe برای بارگذاری مداوم داده انجام می‌شود. به تکنیک‌های اتوماسیون با Snowflake Tasks مسلط شوید و تغییرات داده را به طور مؤثر با Streams ردیابی کنید.

ویژگی‌های نوآورانه Snowflake برای مدیریت داده و تاب‌آوری، از جمله Time Travel و Fail-Safe را بررسی خواهید کرد. همچنین درک کاملی از انواع مختلف جداول Snowflake و موارد استفاده بهینه آن‌ها به دست خواهید آورد. قدرت Zero-Copy Cloning را برای توسعه و تست چابک کشف کنید.

نکته بسیار مهم، یاد خواهید گرفت که چگونه محیط Snowflake خود را با (Roles and Access Controls) دقیق ایمن کنید و Dynamic Data Masking را برای اطلاعات حساس پیاده‌سازی نمایید. اصول و جنبه‌های عملی Data Sharing را هم در داخل و هم در خارج از سازمان خود درک خواهید کرد.

این دوره در ادامه به موضوعات پیشرفته‌تری مانند بهینه‌سازی عملکرد کوئری و مدیریت مؤثر هزینه‌ها با استفاده از Materialized Views و استراتژی‌های مختلف می‌پردازد. همچنین تکنیک‌های Data Sampling و چگونگی ادغام با منابع داده خارجی از طریق External Tables را خواهید آموخت. در نهایت، قابلیت‌های جدید و هیجان‌انگیز Dynamic Tables ،Event Tables ،Hybrid Tables و Iceberg Tables بررسی خواهند شد تا شما را برای آینده مدیریت داده در Snowflake آماده کنند.

این مسترکلاس با یک ماژول اختصاصی برای آمادگی شما جهت مصاحبه‌های مهندسی داده Snowflake به پایان می‌رسد که مفاهیم کلیدی و سناریوهای عملی را پوشش می‌دهد. در پایان این دوره، شما تخصص لازم برای معماری و پیاده‌سازی راه‌حل‌های داده پیچیده، مقیاس‌پذیر و مقرون‌به‌صرفه با استفاده از Snowflake بر روی AWS را خواهید داشت.

سرفصل‌های دوره:

• معرفی Snowflake: بررسی Snowflake Data Cloud، ارزش پیشنهادی آن و ادغام با سرویس‌های AWS
• شروع کار با Snowflake در AWS: راه‌اندازی حساب، اتصال از طریق Snowsight و سایر کلاینت‌ها، آشنایی با رابط کاربری Snowflake
• معماری Snowflake: درک معماری منحصربه‌فرد Snowflake (multi-cluster shared data)، انبارهای مجازی و لایه خدمات ابری
• ادغام ذخیره‌سازی با AWS S3: پیکربندی و مدیریت stageهای خارجی برای دسترسی یکپارچه و بارگذاری داده از AWS S3
• بارگذاری داده در Snowflake: بهترین شیوه‌ها و تکنیک‌ها برای بارگذاری انبوه داده‌های ساختاریافته با دستورات COPY INTO
• بارگذاری داده‌های نیمه‌ساختاریافته در Snowflake: بارگذاری و کوئری کارآمد فرمت‌های داده مانند JSON ،Avro ،Parquet و...
• Snowpipe: پیاده‌سازی پایپ‌لاین‌های ورود مداوم داده برای بارگذاری داده به صورت real-time و near real-time
• Tasks: خودکارسازی گردش‌کارهای پردازش داده، زمان‌بندی دستورات SQL و مدیریت وابستگی‌ها
• Streams: ردیابی تغییرات داده در جداول برای فرآیندهای کارآمد ETL/ELT و بروزرسانی‌های افزایشی
• Time Travel و Fail-Safe: درک و استفاده از ویژگی‌های بازیابی داده و دسترسی به داده‌های تاریخی در Snowflake
• انواع جداول Snowflake: بررسی عمیق جداول Permanent، Transient و Temporary و موارد استفاده آن‌ها
• Zero-Copy Cloning: استفاده از کلون آنی و بدون هزینه برای توسعه، تست و بازیابی فاجعه 
• Roles and Access Controls: پیاده‌سازی مدل‌های امنیتی قوی با استفاده از فریم‌ورک کنترل دسترسی مبتنی بر نقش (RBAC) در Snowflake
• Dynamic Data Masking: حفاظت از داده‌های حساس با استفاده از پالیسی‌های پوشاندن پویا بر اساس نقش‌های کاربری.
• Data Sharing: اشتراک‌گذاری امن داده با ذی‌نفعان داخلی و خارجی بدون کپی کردن یا جابجایی داده
• Materialized Views: بهینه‌سازی عملکرد کوئری از طریق ایجاد و مدیریت materialized views.
• تنظیم عملکرد و بهینه‌سازی هزینه: استراتژی‌ها برای تحلیل عملکرد کوئری، بهینه‌سازی SQL و مدیریت هزینه‌های warehouse
• Data Sampling: تکنیک‌هایی برای استخراج زیرمجموعه‌های معرف از داده‌ها برای تحلیل و تست.
• External Tables: کوئری مستقیم داده‌ها از مکان‌های ذخیره‌سازی خارجی مانند AWS S3 بدون نیاز به بارگذاری.
• Dynamic Tables: درک و پیاده‌سازی پایپ‌لاین‌های تبدیل داده اعلانی با رفرش خودکار
• Event Tables: ضبط و تحلیل داده‌های رویداد در داخل Snowflake
• Hybrid Tables: بررسی در قابلیت‌ها و موارد استفاده از Hybrid Tables در Snowflake
• Iceberg Tables: کار با جداول Iceberg در Snowflake برای قابلیت‌های پیشرفته data lake
• مصاحبه مهندسی داده Snowflake: مصاحبه Snowflake برای کسانی که در تلاش برای به دست آوردن شغل در حوزه Snowflake هستند و می‌خواهند بدانند یک مصاحبه Snowflake چگونه است.

این دوره برای چه کسانی مناسب است؟

• توسعه‌دهندگان سطح مقدماتی یا افراد تازه‌کار که دانش پایه SQL و AWS s3 دارند.
• توسعه‌دهندگان داده ابری باتجربه که در پایگاه‌های داده غیر از Snowflake مانند Redshift یا Azure Synapsis تجربه دارند.
• توسعه‌دهندگان باتجربه Snowflake که به دنبال گسترش دانش خود در این زمینه هستند.
• افرادی که اخیراً به پروژه‌ای اضافه شده‌اند که از Snowflake استفاده می‌کند و می‌خواهند آن را یاد بگیرند تا آماده کار شوند.
• مهندسان داده on-prem باتجربه که به دنبال انتقال به فضای ابری هستند.