Generative model

در طبقه‌بندی آماری ، دو روش اصلی به صورت روش سازنده و روش تمایزی نامیده می‌شوند. این طبقه‌بندی‌کننده‌ها را با روش های متفاوتی که در درجه مدل‌سازی آماری متفاوت هستند، محاسبه می‌کنند. اصطلاحات در تناقض هستند، ^{[persian-alpha ۱]} اما سه نوع اصلی را می توان متمایز کرد، به شکل زیر Jebara (2004) :

مدل سازنده یک مدل آماری از توزیع احتمال مشترک است $P(X,Y)$ بر روی متغیر قابل مشاهده داده شده X و متغیر هدف Y ; ^[۱]
مدل تمایزی مدلی از احتمال شرطی است $P(Y\mid X=x)$ از هدف Y, با توجه به مشاهده x ; و
طبقه‌بندی‌کننده‌هایی که بدون استفاده از یک مدل احتمال محاسبه می‌شوند، به طور بی قید به عنوان «متمایزکننده» شناخته می‌شوند.

تمایز بین این دو طبقه آخر به طور پیوسته انجام نشده است. ^[۲] Jebara (2004) به این سه طبقه به عنوان یادگیری سازنده، یادگیری شرطی و یادگیری متمایز اشاره می کند، اما Ng & Jordan (2002) فقط دو طبقه را متمایز می کنند و آنها را طبقه بندی کننده های سازنده (توزیع مشترک) و طبقه بندی کننده های متمایز (توزیع شرطی یا بدون توزیع) می نامند،عدم تفاوت بین دو طبقه آخر. ^[۳] به این ترتیب، طبقه‌بندی‌کننده بر پایه یک مدل سازنده، یک طبقه‌بندی کننده سازنده است، در حالی که طبقه‌بندی‌کننده مبتنی بر مدل تمایزی، یک طبقه‌بندی کننده متمایزکننده است، اگرچه این اصطلاح به طبقه‌بندی‌کننده‌هایی اشاره دارد که بر اساس مدل نیستند.

مثال های استاندارد از هر کدام که همه آن ها طبقه بندی کننده های خطی هستند عبارتند از:

طبقه بندی کننده های سازنده:
- طبقه بندی کننده ساده بیز و
- تحلیل متمایز کننده خطی
مدل متمایز:
- آمار بر پایه استدلال

در کاربرد طبقه‌بندی، فرد می‌خواهد از مساله x به طبقه بندی y (یا توزیع احتمال روی طبقه ها) برود. می توان این را به طور مستقیم و بدون استفاده از توزیع احتمال ( طبقه بندی کننده بدون توزیع ) حساب کرد. با توجه به مساله، می توان احتمال یک طبقه بندی و طبقه بندی بر اساس آن را حساب کرد، $P(Y|X=x)$ ( مدل تمایزی )؛ یا می توان توزیع مشترک را ارزیابی کرد $P(X,Y)$ ( مدل سازنده )، از آن احتمال شرطی $P(Y|X=x)$ و طبقه بندی بر اساس آن را می توان به دست آورد . این ها به شکل افزایشیی غیرمستقیم ولی احتمالی هستند، و اجازه می دهند علم حوزه و فرضیه احتمال بیشتری اجرا شود. در عمل براساس مساله های خاص از روش های متفاوتی استفاده می‌شود و مخلوط ها می‌توانند نقاط قوت روش های گوناگون را ترکیب کنند.

تعریف[ویرایش]

یک بخش دیگر این موارد را به شکل متقارن به این شکل زیر تعریف می کند:

یک مدل سازنده مدلی از احتمال شرطی قابل مشاهده X است، یک هدف y معین می کند، به طور نمادین، $P(X\mid Y=y)$ ^[۴]
یک مدل متمایز مدلی از احتمال شرطی هدف Y است، با توجه به مساله x ، به طور نمادین، $P(Y\mid X=x)$ ^[۵]

This article "Generative model" is from Wikipedia. The list of its authors can be seen in its historical and/or the page Edithistory:Generative model. Articles copied from Draft Namespace on Wikipedia could be seen on the Draft Namespace of Wikipedia and not main one.

خطای یادکرد: برچسب <ref> برای گروهی به نام «persian-alpha» وجود دارد، اما برچسب متناظر با <references group="persian-alpha"/> یافت نشد.

↑ Ng & Jordan (2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y\mid x)$ , and then picking the most likely label y.
↑ Jebara 2004: "This distinction between conditional learning and discriminative learning is not currently a well established convention in the field."
↑ Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."
↑ Mitchell 2015: "We can use Bayes rule as the basis for designing learning algorithms (function approximators), as follows: Given that we wish to learn some target function $f\colon X\to Y$ , or equivalently, $P(Y\mid X)$ , we use the training data to learn estimates of $P(X\mid Y)$ and $P(Y)$ . New X examples can then be classified using these estimated probability distributions, plus Bayes rule. This type of classifier is called a generative classifier, because we can view the distribution $P(X\mid Y)$ as describing how to generate random instances X conditioned on the target attribute Y.
↑ Mitchell 2015: "Logistic Regression is a function approximation algorithm that uses training data to directly estimate $P(Y\mid X)$ , in contrast to Naive Bayes. In this sense, Logistic Regression is often referred to as a discriminative classifier because we can view the distribution $P(Y\mid X)$ as directly discriminating the value of the target value Y for any given instance X