مهندسی داده بدون سرور - AWS Glue ،Kinesis ،Lambda

آنچه یاد خواهید گرفت:

• پردازش دسته‌ای و جریانی با AWS Glue
• استفاده از AWS Kinesis برای جذب داده جریانی به اکوسیستم AWS
• نقش AWS Lambda در پردازش داده در یک پایپ لاین
• Apache Spark
• استفاده از AWS Glue Workflow برای ارکستراسیون پایپ لاین داده در Glue

پیش‌نیازهاب دوره

• مفاهیم اولیه AWS مانند EC2 ،IAM ،VPC و S3

توضیحات دوره

مهندسی داده! این عبارت بزرگی در دنیای فناوری امروز است. هر سازمانی به دنبال مهندسان داده است و طبق تحلیل‌ها، این یکی از مشاغلی است که از موج هوش مصنوعی مصون خواهد ماند. همچنین یکی از پردرآمدترین مشاغل در دنیای فناوری است. فناوری‌ها، چارچوب‌ها و ابزارهای متعددی برای پشتیبانی از استک مهندسی داده وجود دارد. Spark ،Kafka ،Lakehouse، انبار داده و ... از جمله این موارد هستند.

همه ارائه‌دهندگان سرویس ابری یک استک داده کامل در اختیار دارند. AWS، Azure و GCP پلتفرم‌های متعددی برای کار بر روی استک داده ارائه می‌دهند. یکی از استک‌های جذاب، بدون سرور است؛ اصطلاحی که AWS با راه‌اندازی AWS Lambda ابداع کرد.

این دوره به طور خاص بر روی پردازش داده بدون سرور تمرکز دارد که در طول سال‌ها شتاب زیادی گرفته است. AWS رقیب اصلی در دنیای بدون سرور است که شامل پردازش دسته‌ای و جریانی می‌شود. این دوره شامل مباحث زیر است:

• پردازش دسته‌ای بدون سرور قسمت 1 - AWS Glue
• جذب جریانی - Kinesis Data Streams، Kinesis Firehose
• پردازش جریانی بدون سرور قسمت 1 - AWS Glue و Kinesis
• پردازش دسته‌ای بدون سرور قسمت 2 - AWS Lambda
• پردازش جریانی بدون سرور قسمت 2 - Lambda و Kinesis

مطمئن شوید که تمرینات عملی را کامل می‌کنید، زیرا به شما تجربه عملی می‌دهد. همچنین از شرکت‌کنندگان درخواست می‌شود که تمام آزمایشگاه‌های عملی را دنبال کنند.

این دوره برای چه کسانی مناسب است؟

• معماران داده، مهندسان داده که می‌خواهند استک داده AWS را یاد بگیرند.
• معماران راه‌حل که می‌خواهند با جنبه داده AWS آشنا شوند.
• مدیران پایگاه داده (DBA) که می‌خواهند به سمت حوزه داده AWS تغییر مسیر شغلی دهند.
• مدیران فنی، توسعه‌دهندگانی که می‌خواهند نمای کلی از استک داده AWS داشته باشند.