بایاس القایی
| یادگیری ماشین و داده‌کاوی |
|---|
 |
|
حوزه‌های یادگیری ماشین |
برای این که یک مدل به درستی کار کند باید یک سری پیش فرض ها داشته باشد که به این پیش فرض ها جهت گیری استنتاجی گفته می شود.[۱] به بیانی دیگر، به مجموعه مفروضاتی که یک مدل یادگیری برای پیش بینی و تخمین خروجی ها به ازای ورودی های داده شده دارد، جهت گیری استنتاجی، جهت گیری یادگیری یا بایاس القایی اطلاق می شود.بایاس القایی هر چیزی است که باعث می شود الگوریتم ما یک الگو را به جای الگویی دیگر یاد بگیرد.
مقدمه[ویرایش]
سوگیری القایی در شبکه‌های عصبی به مجموعه‌ای از مفروضات و محدودیت‌هایی اشاره دارد که در الگوریتم یادگیری نهادینه شده تا به کمک آن ها بتوان از داده‌های آموزشی محدود به قابلیت تعمیم پذیری روی داده‌های آموزشی جدید و نادیده دست یافت. به عبارت دیگر، سوگیری استقرایی چیزی است که به یک شبکه عصبی اجازه می‌دهد تا پیش‌بینی دقیقی روی داده‌های جدید انجام دهد، حتی اگر آن داده‌ها با داده‌های آموزشی متفاوت باشند. [۲]
انواع مختلف سوگیری[ویرایش]
سوگیری استقرایی می تواند اشکال مختلفی داشته باشد و در الگوریتم یادگیری می تواند صریح (explicit)یا ضمنی (implicit) باشد. برخی از اشکال رایج سوگیری القایی در شبکه های عصبی شامل سوگیری ایجاد شده ناشی از معماری مدل، سوگیری ناشی از رگولاریزیشن و سوگیری ناشی از بهینه سازی است.
سوگیری ناشی از معماری[ویرایش]
سوگیری ناشی از معماری مدل به مفروضات و محدودیت هایی اشاره دارد که در ساختار خود شبکه عصبی تعبیه شده است. به عنوان مثال، در معماری شبکه های عصبی کانولوشنال (CNN) که برای پردازش تصاویر طراحی و مورد استفاده قرار می گیرند،از لایه های کانولوشنی و لایه ی پولینگ استفاده می شود. به کمک لایه های کانولوشنی الگوهای محلی تشخیص داده می شوند و با استفاده از لایه های پولینگ ابعاد فضای ورودی کاهش داده می شود. این عملیات که خاص معماری CNN است به این ساختار کمک می‌کند تا ویژگی‌هایی را که به وظایف طبقه‌بندی تصویر مرتبط هستند، بیاموزد و می‌تواند قابلیت تعمیم پذیری مدل را بهبود بخشد. یا در شبکه های بازگشتی پیش فرض این است که بین گام های زمانی توالی وجود دارد. [۳]
سوگیری ناشی از رگولاریزیشن[ویرایش]
سوگیری ناشی از رگولاریزیشن به تکنیک هایی اشاره دارد که برای جلوگیری از تطبیق بیش از حد شبکه عصبی با داده های آموزشی استفاده می شود. روش‌های رگولاریزیشن مانند به کارگیری نرم L1 و L2، دراپ اوت (dropout) و توقف زودهنگام یادگیری باعث اعمال قید و محدودیت روی پارامترهای مدل می شوند. این موضوع می تواند. به کاهش واریانس مدل و بهبود قابلیت تعمیم پذیری آن کمک کند.
سوگیری ناشی از الگوریتم[ویرایش]
سوگیری ناشی از الگوریتم بهینه سازی به مفروضات و محدودیت هایی اشاره دارد که در الگوریتم بهینه سازی مورد استفاده برای آموزش شبکه عصبی تعبیه می شود. برای مثال، الگوریتم گرادیان کاهشی تصادفی (SGD) یک الگوریتم بهینه‌سازی محبوب و متداول است که از مجموعه‌ای کوچک از داده‌ها برای به‌روزرسانی پارامترهای مدل استفاده می‌کند. این سوگیری بهینه‌سازی فرض می‌کند که داده‌های آموزشی نماینده داده‌های آزمایشی(تست) هستند و این مدل می‌تواند از دسته های کوچک از داده ها آموزشی یادگیری را به نحوی انجام دهد که قابلیت تعمیم پذیری مدل حفظ شود.[۴]
تاثیر بایاس القایی روی عملکرد مدل[ویرایش]
بایاس القایی می تواند تأثیر قابل توجهی بر عملکرد شبکه های عصبی داشته باشد. توجه به ایجاد سوگیری متناسب با اهداف شبکه بسیار حائز اهمیت است. برای مثال، اگر به دنبال طبقه بندی تصویر باشید، یک CNN با سوگیری معماری قوی ممکن است بهترین انتخاب باشد، در حالی که اگر به دنبال کار با دادگان متنی و پردازش زبان طبیعی باشید، یک شبکه عصبی بازگشتی (RNN) با یک رگولاریزیشن قوی ممکن است مناسب‌تر باشد.
چالش ها[ویرایش]
یکی از چالش‌های بایاس القایی در این است که بایاس وارد شده به مدل می توان موجب بیش برازش یا کم برازش دادگان شود. کم برازش زمانی اتفاق می‌افتد که مدل برای دریافت پیچیدگی داده‌ها بسیار ساده باشد، در حالی که بیش برازش زمانی رخ می دهد که مدل آن قدر پیچیده باشد که حتی الگوهای مربوط به نویز موجود در داده‌ها را نایز یاد بگیرد یا به عبارتی دیگر حفظ کند. ایجاد تعادل بین بایاس القایی مدل و پیچیدگی داده ها جنبه مهمی از ساخت شبکه های عصبی دقیق و قوی است.
چالش دیگر در زمینه ی بایاس القایی این است که تعیین سوگیری بهینه برای یک هدف خاص می تواند دشوار باشد. هیچ راه حل عمومی و کلی ای برای تعیین نوع بایاس القایی وجود ندارد. برای رسیدن به عملکرد بهینه در مدل ها و اهداف مختلف ممکن است نیاز به سوگیری های متفاوتی باشد. یک رویکرد برای تعیین سوگیری بهینه استفاده از اعتبار سنجی متقابل است که در آن داده ها به مجموعه های آموزشی و اعتبار سنجی تقسیم می شوند و سوگیری بر روی مجموعه اعتبار سنجی تنظیم می شود تا بهترین عملکرد روی دادگان آزمایش (تست) به دست آید.
جمع بندی[ویرایش]
در نتیجه، بایاس القایی یک جزء حیاتی از شبکه‌های عصبی است که به آنها اجازه می‌دهد از یادگرفتن الگوی داده‌های آموزشی به توانایی تولید نتایج معتبر روی داده‌های جدید و نادیده برسند. انتخاب بایاس القایی می تواند تأثیر قابل توجهی بر عملکرد مدل داشته باشد و مهم است که بین بایاس و جهت گیری مدل و پیچیدگی داده ها تعادل ایجاد شود. با درک اشکال مختلف سوگیری القایی، و نحوه انتخاب بایاس بهینه برای یک کار معین، می‌توانیم شبکه‌های عصبی دقیق‌تر و قوی‌تری بسازیم که می‌توانند در طیف وسیعی از کاربردها اعمال شوند.
اگرچه اکثر الگوریتم‌های یادگیری دارای یک سوگیری ثابت هستند، برخی از الگوریتم‌ها به گونه‌ای طراحی شده‌اند که با کسب داده‌های بیشتر، سوگیری خود را تغییر دهند.[۵] البته این نکته حائز اهمیت است که این کار از سوگیری جلوگیری نمی کند، زیرا فرآیند ایجاد تغییر در سوگیری خود باید یک سوگیری داشته باشد. [۶]
مثال از بایاس های القایی رایج در یادگیری ماشین.[ویرایش]
- مدل های بیزی [۷]
بایاس در این الگوریتم این است که در آن سعی می شود استقلال شرطی بیشینه شود.
- الگوریتم k نزدیک ترین همسایه[۷]
در ابن الگوریتم فرض می کنیم که داده ها در یه ناحیه ی مضخص از فضای ویژگی متعلق به یک کلاس خاص هستند. داده ی ورودی جدید به کلاسی تعلق پیدا خواهد کرد که اکثریت در همسایگی نزدیکی آن هستند. این موضوع که داده هایی که در نزدیکی یکدیگر قرار دارند به یک طبقه تعلق دارند بایاس مربوط به الگوریتم k نزدیک ترین همسایه است.
- اعتبار سنجی متقابل
در این تکنیک از بین نتایج و فرایض به وجود آمده، نتیجه ای که کم ترین خطا را ایجاد می کند انتخاب می شود. طبق نظریه ی "ناهار مجانی وجود نداردǃ" می توان دریافت که تکنیک اعتبار سنجی متقابل نیز دارای بایاس است.
- ماشین بردار پشتیبان
در این الگوریتم برای تعیین مرز بین دو کلاس سعی می شود که عرض مرز بیشینه شود. این موضوع بایاس نهفته در این الگوریتم است. در واقع پیش فرض این الگوریتم آن است که ما تمایل داریم تا کلاس ها با مرز های گسترده تر از هم جدا شوند.
جستار های وابستی[ویرایش]
- در جست و جو و بهینه سازی از ناهار مجانی خبری نیست.
منابع[ویرایش]
- ↑ Kamran Panahi (۱۴۰۱-۱۰-۱۹). «در نظر گرفتن جهت‌گیریِ استنتاجی». https://biasvariance.net/articles/yab68/inductive-bias/. پیوند خارجی در
|وبگاه=وجود دارد (کمک)صفحه پودمان:Citation/CS1/fa/styles.css محتوایی ندارد. - ↑ [Hüllermeier, E., Fober, T., Mernberger, M. (2013). Inductive Bias. In: Dubitzky, W., Wolkenhauer, O., Cho, KH., Yokota, H. (eds) Encyclopedia of Systems Biology. Springer, New York, NY. https://doi.org/10.1007/978-1-4419-9863-7_927 «Inductive Bias»] مقدار
|نشانی=را بررسی کنید (کمک).صفحه پودمان:Citation/CS1/fa/styles.css محتوایی ندارد. - ↑ Gleb Kumichev (Jun 13,2022). "The Inductive Bias of ML Models, and Why You Should Care About It". Towardsdatascience (به English). Check date values in:
|تاریخ=(help)صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد. - ↑ Dr. Tehseen Zia (10/1/2023). "What is inductive bias in machine learning" (به English). Check date values in:
|تاریخ=(help)صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد. - ↑ Machine Learning: An Artificial Intelligence Approach, Volume II.صفحه پودمان:Citation/CS1/fa/styles.css محتوایی ندارد.
- ↑ Arado, DHGarrette, Nnemo (7/9/2023). "inductive bias". wikipedia (به English). Check date values in:
|تاریخ=(help)صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد. - ↑ ۷٫۰ ۷٫۱ Akbar Karimi (November 5, 2022). "What is inductive bias in machine learning" (به English).صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
This article "بایاس القایی" is from Wikipedia. The list of its authors can be seen in its historical and/or the page Edithistory:بایاس القایی. Articles copied from Draft Namespace on Wikipedia could be seen on the Draft Namespace of Wikipedia and not main one.
