پیشپردازش داده بدون ساختار برای اپلیکیشن های RAG و LLMs - [جدید]
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- به پردازش داده بدون ساختار مسلط شوید: یاد بگیرید چگونه داده را به طور کارآمد از فرمتهای اسناد متنوع، از جمله PDF و PowerPoint، استخراج، پردازش و نرمالسازی کنید.
- غنیسازی پیشرفته Metadata را پیادهسازی کنید: درک کنید که چگونه اسناد را با Metadata جامع غنیسازی کنید، که این امر امکان بازیابی داده دقیقتر و مرتبطتر را فراهم میکند.
- مدلهای بینایی و تکنیکهای Chunking را اعمال کنید: مهارتهای عملی را در اعمال مدلهای بینایی مانند ViT و متدهای Chunking پیشرفته برای مدیریت و تحلیل به دست آورید.
- موتورهای جستجوی Hybrid را بسازید و Deploy کنید: موتورهای جستجوی Hybrid را که بازیابی مبتنی بر محتوا را با کوئری های متا دیتا محور ترکیب میکنند، توسعه داده و Deploy کنید.
پیش نیازهای دوره
- دانش برنامهنویسی اولیه: آشنایی با مفاهیم برنامهنویسی، به ویژه در Python و JavaScript، به یادگیرندگان کمک میکند تا محتوای دوره را مؤثرتر درک کرده و اعمال کنند.
- آشنایی با مفاهیم AI: درک اولیه از AI ،LLMs یا یادگیری ماشین، درک مفاهیم پیشپردازش داده و RAG را که در دوره پوشش داده میشود، آسانتر خواهد کرد.
توضیحات دوره
قدرت داده بدون ساختار را آزاد کنید و اپلیکیشنهای هوش مصنوعی محور خود را با این دوره جامع در مورد تبدیل داده بدون ساختار به بینشهای عملی با استفاده از تکنیکهای پیشرفته ارتقا دهید. چه توسعه دهندع باشید، چه دانشمند داده، یا علاقهمند به AI، این دوره شما را به مهارتهای لازم برای استخراج، پردازش و نرمالسازی محتوا از فرمتهای مختلف اسناد شامل PDF ،PowerPoint فایلهای Word، صفحات HTML، جدولها و تصاویر مجهز میکند و داده شما را برای سیستمهای RAG پیچیده و مدل زبانی بزرگ (LLMs) آماده میسازد.
در این دوره عملی، به بررسی عمیق Unstructured Framework بپردازید، یک ابزار قدرتمند برای مدیریت و نرمالسازی داده بدون ساختار است. شما یاد میگیرید چگونه اسناد خود را با متا دیتا غنیسازی کنید، تکنیکهای chunking پیشرفته را اعمال کنید، و از متدهای جستجوی ترکیبی برای بهبود بازیابی داده و فرآیندهای تولید استفاده کنید. با تمرکز بر اپلیکیشنهای واقعی، تجربه عملی در پیشپردازش اسناد با استفاده از مدلهای بینایی مانند ViT، استخراج اطلاعات ارزشمند از طریق table transformers، و یکپارچهسازی بلادرنگ این کامپوننت ها در اپلیکیشنهای مجهز به RAG خود به دست خواهید آورد.
آنچه خواهید آموخت:
- تسلط به Unstructured Framework: درک چگونگی استفاده از Unstructured Framework برای مدیریت و نرمالسازی انواع داده، بهینهسازی آنها برای استفاده در سیستمهای RAG و LLMs
- استخراج متا دیتا پیشرفته: یاد بگیرید چگونه اسناد خود را با متا دیتا جامع غنیسازی کنید، که دقت و ارتباط جستجو در اپلیکیشنهای مبتنی بر AI را بهبود میبخشد.
- پیادهسازی تکنیکهای پیشرفته Chunking: متدهای chunking پیشرفته را برای مدیریت و پردازش مجموعه داده بزرگ اعمال کنید، و مدیریت و بازیابی داده کارآمد را تضمین کنید.
- مهار قابلیتهای جستجوی ترکیبی: تکنیکهای جستجوی ترکیبی را بررسی کنید که متا دیتا و بازیابی مبتنی بر محتوا را ترکیب میکنند و عملکرد query engines شما را افزایش میدهند.
- تحلیل تصویر سند با ViT: از مدلهای بینایی مانند ViT و table transformers برای تحلیل و پیشپردازش تصاویر سند استفاده کنید، که توانایی شما را در استخراج و استفاده از داده بدون ساختار افزایش میدهد.
چرا این دوره؟
این دوره برای متخصصانی طراحی شده است که میخواهند فراتر از پردازش اولیه داده رفته و به تکنیکهای پیشرفته برای مدیریت داده بدون ساختار در سیستمهای RAG بپردازند. از طریق یک سری پروژههای عملی، شما تخصص لازم برای ساخت و deploy data engines قوی و مقیاسپذیر را به دست خواهید آورد که میتوانند کوئری های پیچیده را مدیریت کرده و پاسخهای مرتبط با متن تولید کنند. چه به دنبال بهبود مجموعه مهارتهای فعلی خود باشید و چه به دنبال بررسی مرزهای جدید در توسعه مبتنی بر AI باشید، این دوره دانش و تجربه عملی مورد نیاز برای موفقیت را فراهم میکند.
به ما بپیوندید و به هنر تبدیل داده بدون ساختار به بینشهای قدرتمند و ساختاریافته برای سیستمهای RAG و اپلیکیشنهای LLM خود مسلط شوید!
این دوره برای چه کسانی مناسب است؟
- توسعهدهندگان و برنامهنویسان
- دانشمندان داده و علاقمندان هوش مصنوعی که به دنبال گسترش دانش خود در زمینه پردازش داده بدون ساختار، غنیسازی متا دیتا و ایجاد سیستمهای Retrieval-Augmented Generation (RAG) هستند.
- متخصصان فنی که در زمینههایی کار میکنند که نرمالسازی داده، chunking و جستجوی ترکیبی حیاتی هستند و میخواهند راهحلهای قوی را با استفاده از Unstructured framework و Vision Transformers (ViT) پیادهسازی کنند.
- متخصصان هوش مصنوعی و یادگیری ماشین که علاقهمند به استفاده از تکنیکهای پیشرفته برای پیشپردازش و مدیریت فرمتهای مختلف اسناد، مانند PDF ،PowerPoint و HTML، برای یادگیری و اپلیکیشنهای LLM پیشرفته هستند.
پیشپردازش داده بدون ساختار برای اپلیکیشن های RAG و LLMs - [جدید]
-
مقدمه و موضوع دوره و پیشنیازها 03:38
-
ساختار دوره 01:08
-
راهاندازی محیط توسعه - بررسی 01:37
-
راهاندازی OpenAI API Account و API Key 06:15
-
راهاندازی Unstructured Account و FREE API Key 02:44
-
اجرای تست Unstructured Framework 04:06
-
بررسی عمیق پیشپردازش داده - بررسی 05:47
-
پیشپردازش داده برای LLMs - چرا پیشپردازش داده دشوار است؟ 03:05
-
چالشها با داده بدون ساختار 00:53
-
چگونگی عملکرد استخراج محتوا - پاکسازی و نرمالسازی داده 02:57
-
Chunking و ساختاربندی داده و workflow Orchestration 07:32
-
Unstructured Framework - workflow کامل و بررسی 07:59
-
بررسی 00:56
-
کار عملی: پیشپردازش یک PDF File و تجزیه JSON Data استخراج شده 10:56
-
کار عملی: پیشپردازش یک PPTX (PowerPoint) File 06:26
-
کار عملی: پیشپردازش یک HTML File 03:06
-
مزایای نرمالسازی محتوا - خلاصه 03:42
-
Chunking محتوا و استخراج Metadata - بررسی 05:23
-
یافتن Elements مرتبط با Chapters - کار عملی 08:06
-
Semantic Similarity - Hybrid Search و ذخیره Documents در Vector Database 08:00
-
Code Restructuring - اجتناب از پیشپردازش چندگانه Document 01:33
-
چالشهای Semantic Similarity - معیارهای به روز بودن اطلاعات 04:06
-
Chunking برای Document Elements و مزایا - بررسی کامل 08:13
-
Chunking محتوای Document - کار عملی 03:52
-
خلاصه 01:05
-
پیشپردازش Complex Documents - PDF و Images - بررسی 00:47
-
متدهای تحلیل تصویر Document: Document Layout Detector و Visual Transformer 04:03
-
مزایا و معایب ViT و DLD 02:46
-
پیشپردازش فایلهای HTML و PDF - سریع 03:41
-
پیشپردازش با Document Layout Detection و مقایسه نتایج 07:25
-
استخراج محتوای Table - کار عملی 05:44
-
خلاصهسازیTable Data با LangChain - کار عملی 04:52
-
همه چیز را به هم متصل کنید - ساخت یک سیستم RAG با استفاده از آنچه آموختهاید - بررسی 01:06
-
پیشپردازش یک PDF File و نمایش Tabular Content نیز - قسمت 1 05:07
-
فیلتر کردن References و Headers از PDF - قسمت 2 05:10
-
پیشپردازش PPTX و MD File و ذخیره Document Elements در Vector Database: قسمت 3 07:12
-
گفتگو با Documents خود - PDF - قسمت 4 11:15
-
گفتگو با Documents خود - MD و PPTX Documents - نهایی 06:16
-
موضوع بعدی چیست 03:41
مشخصات آموزش
پیشپردازش داده بدون ساختار برای اپلیکیشن های RAG و LLMs - [جدید]
- تاریخ به روز رسانی: 1404/06/21
- سطح دوره:همه سطوح
- تعداد درس:39
- مدت زمان :03:03:13
- حجم :2.36GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy