یادگیری خود نظارتی
یادگیری خود نظارتی (SSL) یک روش یادگیری ماشین است . که از نمونه داده های بدون برچسب یاد می گیرد. می توان آن را به عنوان واسطی بین یادگیری با نظارت و بدون نظارت در نظر گرفت . این یادگیری بر اساس یک شبکه عصبی مصنوعی است . فرایند یادگیری شبکه عصبی در دو مرحله است:ااول، کار بر اساس شبه برچسب ها حل می شود که به مقداردهی اولیه وزن شبکه کمک می کند. [۱] [۲] دوم، وظیفه اصلی با یادگیری تحت نظارت یا بدون نظارت انجام می شود. [۳] [۴] [۵] یادگیری خود نظارتی نتایج امیدوارکننده‌ای را در سال‌های اخیر ایجاد کرده است و کاربرد عملی در پردازش صدا پیدا کرده است و توسط فیس‌بوک و دیگران برای تشخیص گفتار استفاده می‌شود . [۶] جذابیت اصلی SSL این است که آموزش می تواند با داده هایی با کیفیت پایین تر به جای بهبود نتایج نهایی رخ دهد. یادگیری خود نظارتی، روشی را که انسان ها برای طبقه بندی اشیا یاد می گیرند، بیشتر تقلید می کند. [۷]
انواع[ویرایش]
داده های آموزشی را می توان به نمونه های مثبت و نمونه های منفی تقسیم کرد. نمونه های مثبت آنهایی هستند که با هدف مطابقت دارند. به عنوان مثال، اگر در حال یادگیری شناسایی پرندگان هستید، داده های آموزشی مثبت آن تصاویری هستند که حاوی پرندگان هستند. مثال های منفی آنهایی هستند که شامل پرندگان نیستند.. [۸]
SSL متضاد[ویرایش]
SSL Contrastive از هر دو نمونه مثبت و منفی استفاده می کند. تابع ضرر یادگیری متضاد فاصله بین نمونه های مثبت را به حداقل می رساند در حالی که فاصله بین نمونه های منفی را حداکثر می کند. [۸]
SSL غیر متضاد[ویرایش]
Non-contrastive SSL فقط از نمونه های مثبت استفاده می کند. به طور متضاد، NCSSL به جای رسیدن به تابع شناسایی مورد انتظار با ضرر صفر، روی یک حداقل محلی مفید همگرا می شود. NCSSL مؤثر به یک پیش‌بینی‌کننده اضافی در سمت آنلاین نیاز دارد که در سمت هدف انتشار مجدد ندارد. [۸]
مقایسه با سایر فرم های یادگیری ماشین[ویرایش]
SSL تا آنجا که هدف تولید یک خروجی طبقه بندی شده از ورودی است به روش های یادگیری نظارت شده تعلق دارد. در عین حال، نیازی به استفاده صریح از جفت ورودی-خروجی برچسب دار ندارد. در عوض، همبستگی ها، ابرداده های تعبیه شده در داده ها، یا دانش حوزه موجود در ورودی به طور ضمنی و مستقل از داده ها استخراج می شوند. [۹] این سیگنال های نظارتی که از داده ها تولید می شوند، می توانند برای آموزش استفاده شوند. [۷]
SSL شبیه به یادگیری بدون نظارت است زیرا نیازی به برچسب در داده های نمونه ندارد. برخلاف یادگیری بدون نظارت، یادگیری با استفاده از ذات ساختارهای داده انجام نمی شود. [۹]
یادگیری نیمه نظارتی، یادگیری تحت نظارت و بدون نظارت را با هم ترکیب می کند، که فقط به بخش کوچکی از داده های یادگیری برچسب گذاری می شود. [۲]
در یادگیری انتقالی ، مدلی که برای یک کار طراحی شده است، مجدداً برای یک کار دیگر استفاده می شود. [۱۰]
مثال ها[ویرایش]
یادگیری خود نظارتی به ویژه برای تشخیص گفتار مناسب است. به عنوان مثال، فیس بوک wav2vec، یک الگوریتم تحت نظارت خود را برای انجام تشخیص گفتار با استفاده از دو شبکه عصبی پیچیده عمیق که بر روی یکدیگر ساخته می شوند، توسعه داد. [۶]
مدل بازنمودهای رمزگذار دو جهته گوگل از ترانسفورماتورها (BERT) برای درک بهتر محتوا پرس و جوهای جستجو استفاده می کند. [۱۱]
GPT-3 OpenAI یک مدل زبان خودرگرسیون است که می تواند در پردازش زبان استفاده شود. می توان از آن برای ترجمه متون یا پاسخ دادن به سؤالات و موارد دیگر استفاده کرد. [۱۲]
Bootstrap Your Own Latent یک NCSSL است که نتایج بسیار خوبی در ImageNet و معیارهای انتقال و نیمه نظارت شده ایجاد می کند. [۱۳]
DirectPred یک NCSSL است که به‌جای یادگیری آن از طریق به‌روزرسانی گرادیان، وزن‌های پیش‌بینی‌کننده را مستقیماً تنظیم می‌کند. [۸]
منابع[ویرایش]
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ ۲٫۰ ۲٫۱ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ ۶٫۰ ۶٫۱ "Wav2vec: State-of-the-art speech recognition through self-supervision". ai.facebook.com (به English). Retrieved 2021-06-09.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ ۷٫۰ ۷٫۱ Bouchard, Louis (2020-11-25). "What is Self-Supervised Learning? | Will machines ever be able to learn like humans?". Medium (به English). Retrieved 2021-06-09.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ ۸٫۰ ۸٫۱ ۸٫۲ ۸٫۳ "Demystifying a key self-supervised learning technique: Non-contrastive learning". ai.facebook.com (به English). Retrieved 2021-10-05.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ ۹٫۰ ۹٫۱ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing". Google AI Blog (به English). Retrieved 2021-06-09.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ A bot will complete this citation soon. Click here to jump the queue"Bootstrap your own latent: A new approach to self-supervised Learning". MISSING LINK..
لینک های خارجی[ویرایش]
- Abshire, Chris (2018-04-06). "Self-Supervised Learning: A Key to Unlocking Self-Driving Cars?". Toyota Ventures (به English). Retrieved 2021-10-05.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- Shenwai, Tanushree (2021-09-30). "Google AI's New Study Enhance Reinforcement Learning (RL) Agent's Generalization In Unseen Tasks Using Contrastive Behavioral Similarity Embeddings". MarkTechPost (به English). Retrieved 2021-10-07.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
This article "یادگیری خود نظارتی" is from Wikipedia. The list of its authors can be seen in its historical and/or the page Edithistory:یادگیری خود نظارتی. Articles copied from Draft Namespace on Wikipedia could be seen on the Draft Namespace of Wikipedia and not main one.
