You can edit almost every page by Creating an account. Otherwise, see the FAQ.

مدل تمایزی

از EverybodyWiki Bios & Wiki
پرش به:ناوبری، جستجو

مدل‌های متمایز یا مدل‌های شرطی دسته‌ای از مدل‌های لجستیکی هستند که برای طبقه‌بندی یا رگرسیون استفاده می‌شوند. آنها مرزهای تصمیم را از طریق داده های مشاهده شده، مانند پاس/شکست، برد/باخت، زنده/مرده یا سالم/بیمار از هم تشخیص می دهند.

مدل‌های متمایز عادی شامل رگرسیون لجستیک (LR)، میدان‌ تصادفی شرطی (CRFs) (نشان شده بر روی یک گراف غیر جهت‌دار)، درخت‌ تصمیم‌گیری و بسیاری مدل های دیگر هستند. رویکردهای مدل سازنده معمولی شامل طبقه‌بندی‌کننده‌های ساده بیز ، مدل‌های مخلوط گاوسی ، رمزگذارهای خودکار متغیر ، شبکه‌های متخاصم مولد و غیره است.

تعریف[ویرایش]

بر خلاف مدل سازی مولد که احتمال مشترک را مطالعه می کند ، مدل سازی افتراقی را بررسی می کند یا متغیر مشاهده نشده (هدف) به برچسب کلاس وابسته به متغیرهای مشاهده شده (نمونه های آموزشی) نگاشت می کند. به عنوان مثال، در تشخیص اشیا ، احتمالاً بردار پیکسل های خام (یا ویژگی های استخراج شده از پیکسل های خام تصویر) است. در یک چارچوب احتمالی، این کار با مدل‌سازی توزیع احتمال شرطی انجام می‌شود، که می تواند برای پیش بینی از جانب استفاده شود. توجه داشته باشید که هنوز بین مدل شرطی و مدل تمایزی تفاوت وجود دارد، اگرچه اغلب آنها به سادگی به عنوان مدل تمایزی طبقه بندی می شوند.

مدل تمایز محض در مقابل مدل مشروط[ویرایش]

یک مدل شرطی، توزیع احتمال شرطی را مدل می‌کند، در حالی که هدف مدل تمایزی سنتی، بهینه‌سازی در نگاشت ورودی در اطراف مشابه‌ترین نمونه‌های آموزش‌دیده است.

رویکردهای مدل‌سازی تمایزی معمولی[ویرایش]

رویکرد زیر بر این فرض پایبند است که مجموعه داده های آموزشی به عنوان ورودی به آن داده شده است، به طوریکه خروجی مربوط به ورودی است . [۱]

طبقه بندی خطی[ویرایش]

ما قصد داریم از تابع استفاده کنیم تا آنچه از رفتار مجموعه داده های آموزشی با روش طبقه بندی کننده خطی مشاهده کردیم را شبیه سازی کنیم. با استفاده از بردار ویژگی مشترک ، تابع تصمیم به صورت زیر است:

طبق تفسیر میمیشویچ، فرمول [۱] ، که همچنین همانند است، امتیاز سازگاری ورودی را با خروجی بالقوه را محاسبه می کند. سپس کلاس با بالاترین امتیاز را تعیین می کند.

رگرسیون لجستیک (LR)[ویرایش]

همین طور که تابع هزینه 0-1 به طور معمول در تئوری تصمیم استفاده می شود، توزیع احتمال شرطی ، جایی که یک بردار پارامتر برای بهینه سازی داده های آموزشی است ، می تواند برای مدل رگرسیون لجستیک به صورت زیر در نظر گرفته شود:

، با

معادله بالا رگرسیون لجستیک را به ما نشان می دهد. توجه داشته باشید که یک تفاوت عمده بین مدل ها، روش آنها برای معرفی احتمال پسین است. احتمال پسین از مدل پارامتریک استنباط می شود. سپس می توانیم پارامتر را با معادله زیر به حداکثر برسانیم:

همچنین می تواند با معادله log-loss زیر جایگزین شود:

از آنجایی که log-loss قابل تمایز است، می توان از روش مبتنی بر گرادیان برای بهینه سازی مدل استفاده کرد. رسیدن به بهینه جهانی حتمی است زیرا تابع هدف محدب است. گرادیان احتمال log به صورت زیر نشان داده می شود:

جایی که امید ریاضی است.

روش فوق محاسبات کارآمدی را برای تعداد نسبی کوچک طبقه بندی فراهم می کند.

تضاد با مدل سازنده[ویرایش]

تضاد در رویکردها[ویرایش]

فرض کنیم مسئله ما برچسب کلاس با متغییر ویژگی دارد. این متغییر ها مجموعه آموزش هستند.

یک مدل سازنده احتمال مشترک را می گیرد ، بطوریکه ورودی و برچسب است و ممکن ترین برچسب شناخته شده را برای متغیر ناشناخته با استفاده از قضیه بیز پیش بینی می کند.[۲]

مدل‌های تمایزی، بر خلاف مدل‌های مولد ، اجازه تولید نمونه‌ها را از توزیع مشترک متغیرهای مشاهده شده و هدف نمی‌دهند. با این حال، برای کارهایی مانند طبقه‌بندی و رگرسیون که نیازی به توزیع مشترک ندارند، مدل‌های تمایزی می‌توانند عملکرد بهتری داشته باشند (تا حدی به این دلیل که متغیرهای کمتری برای محاسبه دارند). [۳] [۴] از سوی دیگر، مدل‌های مولد معمولاً در بیان وابستگی‌ها در تسک پیچیده یادگیری نسبت به مدل‌های تمایز منعطف‌تر هستند. علاوه بر این، بیشتر مدل‌های تماییزی ذاتاً تحت نظارت هستند و نمی‌توانند به راحتی از یادگیری بدون نظارت پشتیبانی کنند. جزئیات خاص برنامه در نهایت مناسب بودن انتخاب یک مدل تماییزی در مقابل مولد را مشخص می کند.

مدل های تماییزی و مدل های مولد نیز در معرفی احتمال پسین متفاوت هستند. [۵] برای حفظ کمترین هزینه مورد انتظار، باید طبقه‌بندی نادرست را به حداقل رساند. در مدل تماییزی، احتمالات پسین، ، از یک مدل پارامتری استنباط می شود که در آن پارامترها از داده های آموزشی بدست می آیند. نقاط تخمین پارامترها از بیشینه سازی احتمال یا محاسبه توزیع بر روی پارامترها به دست می آید. از سوی دیگر، با توجه به اینکه مدل های مولد بر احتمال مشترک تمرکز می کنند، احتمال پسین کلاس در قضیه بیز در نظر گرفته شده است که بصورت زیر تعریف می شود:

. [۵]

مزایا و معایب در کاربرد[ویرایش]

در آزمایش‌های تکراری، رگرسیون لجستیک و نایو بیز برای مدل‌های مختلف در نوع طبقه‌بندی باینری اعمال می‌شوند، یادگیری تماییزی منجر به خطاهای مجانبی کمتر می‌شود، در حالی که یک مولد منجر به خطاهای مجانبی بالاتر سریع‌تر می‌شود. با این حال، در کار مشترک اولوسوی و بیشاپ، مقایسه تکنیک‌های مولد و متمایز برای تشخیص و طبقه‌بندی اشیاء ، بیان می‌کنند که گزاره فوق تنها زمانی درست است که مدل برای داده‌ها مناسب باشد (یعنی توزیع داده‌ها به درستی توسط مدل تولیدی مدل‌سازی شده باشد. ).

مزایا[ویرایش]

مزایای مهم استفاده از مدل سازی متمایز عبارتند از:

  • دقت بالاتر، که معمولا منجر به نتایج یادگیری بهتر می شود.
  • ورودی را ساده می کند و یک رویکرد مستقیم به ارائه می دهد.
  • استفاده از منابع را بهینه می کند.
  • خطاهای مجانبی کمتری ایجاد می کند

در مقایسه با مزایای استفاده از مدل سازی مولد:

  • تمام داده‌ها را در نظر می‌گیرد، که می‌تواند منجر به پردازش کندتر به عنوان یک نقطه ضعف شود
  • به نمونه های آموزشی کمتری نیاز دارد
  • یک چارچوب انعطاف پذیر که به راحتی می تواند با سایر نیازهای برنامه همکاری کند

معایب[ویرایش]

  • روش آموزش معمولاً به چندین تکنیک بهینه سازی عددی نیاز دارد
  • به طور مشابه، طبق تعریف، مدل تمایز به ترکیبی از وظایف فرعی متعدد برای حل یک مشکل پیچیده دنیای واقعی نیاز دارد [۱]

بهینه سازی در برنامه ها[ویرایش]

از آنجایی که هم مزایا و هم معایب دو روش مدل‌سازی گفته شد، ترکیب هر دو رپش در عمل مدل‌سازی خوبی خواهد بود. به عنوان مثال، در مقاله ماراس A Joint Discriminative Generative Model for Model Deformable Construction and Classification [۶] او و همکارانش ترکیبی از دو مدل سازی را در طبقه بندی چهره مدل ها اعمال می کنند و دقت بالاتری نسبت به روش سنتی دریافت می کنند.

به طور مشابه، کلم [۷] ترکیب دو مدل‌ را برای طبقه‌بندی پیکسل‌ها در مقاله خود ترکیب روش‌های مولد و متمایز برای طبقه‌بندی پیکسل با یادگیری چند شرطی مطرح کرد.

در طول فرآیند استخراج ویژگی‌های متمایز قبل از خوشه‌بندی، تحلیل مؤلفه اصلی (PCA)، اگرچه معمولاً مورد استفاده قرار می‌گیرد، یک رویکرد لزوماً تمایز نیست. در مقابل، LDA تمایزی است. [۸] تجزیه و تحلیل تفکیک خطی (LDA)، یک روش کارآمد برای از بین بردن نقطه ضعفی که در بالا اشاره کردیم ارائه می دهد. همانطور که می دانیم، مدل تمایزی قبل از طبقه بندی نیاز به ترکیبی از وظایف فرعی متعدد دارد و LDA با کاهش ابعاد راه حل مناسبی را برای این مشکل ارائه می دهد.

انواع[ویرایش]

نمونه هایی از مدل های متمایز عبارتند از:

همچنین ببینید[ویرایش]

منابع[ویرایش]

  1. ۱٫۰ ۱٫۱ ۱٫۲ Memisevic, Roland (December 21, 2006). "An introduction to structured discriminative learning". Retrieved October 29, 2018.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
  2. Ng, Andrew Y.; Jordan, Michael I. (2001). On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
  3. Singla, Parag; Domingos, Pedro (2005). "Discriminative Training of Markov Logic Networks". Proceedings of the 20th National Conference on Artificial Intelligence - Volume 2. AAAI'05. Pittsburgh, Pennsylvania: AAAI Press: 868–873. ISBN 978-1577352365.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
  4. J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In ICML, 2001.
  5. ۵٫۰ ۵٫۱ Ulusoy, Ilkay (May 2016). "Comparison of Generative and Discriminative Techniques for Object Detection and Classification" (PDF). Microsoft. Retrieved October 30, 2018.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
  6. Marras, Ioannis (2017). "A Joint Discriminative Generative Model for Deformable Model Construction and Classification" (PDF). Retrieved 5 November 2018.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
  7. Kelm, B. Michael. "Combining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning" (PDF). Retrieved 5 November 2018.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
  8. Wang, Zhangyang (2015). "A Joint Optimization Framework of Sparse Coding and Discriminative Clustering" (PDF). Retrieved 5 November 2018.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.



This article "مدل تمایزی" is from Wikipedia. The list of its authors can be seen in its historical and/or the page Edithistory:مدل تمایزی. Articles copied from Draft Namespace on Wikipedia could be seen on the Draft Namespace of Wikipedia and not main one.



Read or create/edit this page in another language[ویرایش]