Multimodal sentiment analysis
«این صفحه در حال ترجمه از ویکی انگلیسی است. لطفا حذف نشود.»
تحلیل احساسات چندوجهی بعد جدیدی از تحلیل احساسات مبتنی بر متن است، که فراتر از تجزیه و تحلیل متون می‌رود و شامل بررسی سایر ابعاد مانند داده‌های صوتی و تصویری نیز می شود.[۱] تحلیل احساسات چندوجهی، می تواند دو وجهی باشد که به معنی ترکیب دو مدالیته مختلف است، یا سه وجهی باشد که دربرگیرنده سه مدالیته است.[۲] با وجود حجم گسترده داده‌های رسانه‌های اجتماعی که به شکل‌های مختلف از جمله ویدئو و تصویر به صورت آنلاین در دسترس هستند، تکنیک متعارف تحلیل احساسات مبتنی بر متن به مدل‌های پیچیده‌تر تحلیل احساسات چندوجهی تبدیل شده است.[۳] این تکنولوژی می‌تواند در توسعه دستیاران مجازی[۴]، تجزیه و تحلیل نقد فیلم‌های YouTube[۵]، تجزیه و تحلیل ویدیوهای خبری، و تشخیص احساسات مانند نظارت بر افسردگی و زمینه‌های دیگر کاربرد داشته باشد.
مشابه تحلیل احساسات سنتی، یکی از اساسی ترین وظایف در تحلیل احساسات چندوجهی ، طبقه بندی احساسات است که احساسات مختلف را به دسته هایی مانند مثبت، منفی یا خنثی دسته بندی می‌کند. پیچیدگی تجزیه و تحلیل ویژگی‌های متنی، صوتی و بصری برای انجام چنین کاری مستلزم استفاده از تکنیک‌های ترکیبی مختلف، مانند سطح ویژگی، سطح تصمیم، و ترکیب هایبرید است.[۳] عملکرد این تکنیک‌های ادغامی و الگوریتم‌های طبقه‌بندی، تحت‌تاثیر نوع ویژگی‌های متنی، صوتی و بصری به کار رفته در این بررسی است. [۶]
ویژگی‌ها[ویرایش]
مهندسی ویژگی، که شامل انتخاب ویژگی‌هایی است که به الگوریتم‌های یادگیری ماشین داده می‌شوند، نقش کلیدی در عملکرد طبقه‌بندی احساسات بازی می‌کند.[۶] در تحلیل احساسات چندوجهی، ترکیبی از ویژگی های متنی، صوتی و بصری مختلف به کار گرفته می شود.[۳]
ویژگی‌های متنی[ویرایش]
مشابه تجزیه و تحلیل احساسات مرسوم مبتنی بر متن، برخی از متداول‌ترین ویژگی‌های متنی مورد استفاده در تحلیل احساسات چندوجهی، تک-گرم‌ها و ان-گرم‌ها هستند که اساساً دنباله‌ای از کلمات در یک سند متنی هستند.[۷] این ویژگی‌ها با استفاده از مدل بسته کلمات یا مدل بسته مفاهیم اعمال می‌شوند که در آن کلمات یا مفاهیم به صورت بردارهایی در فضایی مناسب نمایش داده می‌شوند.[۸][۹]
ویژگی‌های صوتی[ویرایش]
عواطف و احساسات دارای خصوصیات آوایی و عروضی متفاوتی در ویژگی‌های صوتی هستند.[۱۰] برخی از مهم‌ترین ویژگی‌های صوتی مورد استفاده در تجزیه و تحلیل احساسات چندوجهی عبارتند از ضرایب فرکانس مل (MFCC)، مرکز طیفی، شار طیفی، هیستوگرام ضربان، مجموع ضربان، قوی‌ترین ضرب، مدت زمان مکث، و گام. [۳] OpenSMILE و Praat ابزارهای منبع باز پرطرفدار برای استخراج این ویژگی‌های صوتی هستند.
ویژگی‌های بصری[ویرایش]
یکی از مزایای اصلی تجزیه و تحلیل ویدئوها در مقایسه با تحلیل صرف متن، غنی بودن نشانه‌های احساسات در داده های بصری است.[۱۱] ویژگی‌های بصری شامل حالات چهره است که در شناسایی احساسات و عواطف از اهمیت بالایی برخوردار است، زیرا کانال اصلی نمایش حالات ذهنی فعلی فرد است.[۳] به طور خاص، لبخند به عنوان یکی از واضح‌ترین نشانه‌های بصری در تحلیل احساسات چندوجهی در نظر گرفته می‌شود.[۸] OpenFace یک جعبه ابزار منبع باز برای تجزیه و تحلیل چهره است که برای استخراج و درک چنین ویژگی های بصری در دسترس است.[۱۲]
تکنیک‌های ترکیبی[ویرایش]
برخلاف تحلیل احساسات سنتی مبتنی بر متن، در تحلیل احساسات چندوجهی تحت یک فرآیند ادغام، داده‌های روش‌های مختلف (متنی، صوتی یا بصری) با هم ترکیب و تجزیه و تحلیل می‌شوند. [۳] رویکردهای موجود برای ادغام داده‌ها در تحلیل احساسات چندوجهی را می‌توان به سه دسته اصلی گروه‌بندی کرد: سطح ویژگی، سطح تصمیم، و ترکیب هایبرید. عملکرد طبقه‌بندی احساسات بستگی به نوع تکنیک ترکیبی مورد استفاده دارد. [۳]
ترکیب در سطح ویژگی[ویرایش]
ترکیب در سطح ویژگی (که گاهی اوقات به عنوان ادغام اولیه شناخته می‌شود) همه ویژگی‌ها را از هر مدالیته (متنی، صوتی یا بصری) جمع‌آوری می‌کند و همه آنها را در یک بردار ویژگی واحد قرار می‌دهد که در نهایت به یک الگوریتم طبقه‌بندی وارد می‌شود.[۱۳] یکی از مشکلات در اجرای این تکنیک، ادغام ویژگی‌های ناهمگن است.[۳]
ترکیب در سطح تصمیم[ویرایش]
ترکیب در سطح تصمیم (که گاهی اوقات به عنوان ادغام ثانویه شناخته می شود)، داده های هر مدالیته (متنی، صوتی یا بصری) را به طور مستقل به الگوریتم طبقه بندی مختص به خود می‌دهد و با ادغام هر نتیجه در یک بردار تصمیم واحد، نتایج طبقه بندی احساسات نهایی را به دست می‌آورد.[۱۳] یکی از مزایای این تکنیک ترکیبی، این است که نیاز به ترکیب داده‌های ناهمگن را از بین می برد و هر مدالیته می تواند از مناسب ترین الگوریتم طبقه بندی خود استفاده کند.[۳]
ترکیب هیبریدی[ویرایش]
ترکیب هیبریدی، ترکیبی از تکنیک‌های ترکیب در سطح ویژگی و سطح تصمیم است که از اطلاعات تکمیلی هر دو روش در طول فرآیند طبقه‌بندی استفاده می‌کند.[۵] این فرایند معمولاً شامل یک روش دو مرحله‌ای است که در مرحله اول، ابتدا بین دوتا از مدالیته‌ها، روش ترکیب در سطح ویژگی پیاده سازی می‌شود و سپس در مرحله دوم برای ادغام کردن نتیجه این ترکیب با مدالیته باقیمانده، بین نتایج این فرایند و مدالیته‌ی باقیمانده، عملیات ترکیب در سطح تصمیم اعمال می‌شود.[۱۴] [۱۵]
کاربردها[ویرایش]
مشابه تجزیه و تحلیل احساسات مبتنی بر متن، تجزیه و تحلیل احساسات چندوجهی را می توان در توسعه سیستم های توصیه‌گر در اشکال مختلف مانند تجزیه و تحلیل ویدیوهای تولید شده توسط کاربران در خصوص نقد فیلم [۵] و نقد کلی محصولات، [۱۶] به منظور پیش بینی احساسات مشتریان و متعاقباً توصیه محصولات یا خدمات، استفاده کرد.[۱۷] تجزیه و تحلیل احساسات چندوجهی همچنین نقش مهمی در پیشرفت دستیاران مجازی از طریق استفاده از پردازش زبان طبیعی (NLP) و تکنیک های یادگیری ماشین ایفا می‌کند.[۴] در حوزه بهداشت و درمان، تجزیه و تحلیل احساسات چندوجهی می تواند برای تشخیص برخی شرایط پزشکی مانند استرس، اضطراب یا افسردگی استفاده شود. تجزیه و تحلیل احساسات چندوجهی را می توان در درک احساسات موجود در برنامه های خبری ویدیویی نیز به کار برد، از آنجایی که خبرنگاران معمولا به طور واضح احساسات خود را نشان نمی‌دهند و بیشتر خنثی هستند، به عنوان یک حوزه پیچیده و چالش برانگیز در نظر گرفته می شود.
منابع[ویرایش]
This article "Multimodal sentiment analysis" is from Wikipedia. The list of its authors can be seen in its historical and/or the page Edithistory:Multimodal sentiment analysis. Articles copied from Draft Namespace on Wikipedia could be seen on the Draft Namespace of Wikipedia and not main one.
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ ۳٫۰ ۳٫۱ ۳٫۲ ۳٫۳ ۳٫۴ ۳٫۵ ۳٫۶ ۳٫۷ ۳٫۸ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value). خطای یادکرد: برچسب
<ref>نامعتبر؛ نام «s1» چندین بار با محتوای متفاوت تعریف شده است خطای یادکرد: برچسب<ref>نامعتبر؛ نام «s1» چندین بار با محتوای متفاوت تعریف شده است خطای یادکرد: برچسب<ref>نامعتبر؛ نام «s1» چندین بار با محتوای متفاوت تعریف شده است خطای یادکرد: برچسب<ref>نامعتبر؛ نام «s1» چندین بار با محتوای متفاوت تعریف شده است خطای یادکرد: برچسب<ref>نامعتبر؛ نام «s1» چندین بار با محتوای متفاوت تعریف شده است خطای یادکرد: برچسب<ref>نامعتبر؛ نام «s1» چندین بار با محتوای متفاوت تعریف شده است خطای یادکرد: برچسب<ref>نامعتبر؛ نام «s1» چندین بار با محتوای متفاوت تعریف شده است - ↑ ۴٫۰ ۴٫۱ "Google AI to make phone calls for you". BBC News. 8 May 2018. Retrieved 12 June 2018.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد. خطای یادکرد: برچسب
<ref>نامعتبر؛ نام «s5» چندین بار با محتوای متفاوت تعریف شده است - ↑ ۵٫۰ ۵٫۱ ۵٫۲ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value). خطای یادکرد: برچسب
<ref>نامعتبر؛ نام «s4» چندین بار با محتوای متفاوت تعریف شده است خطای یادکرد: برچسب<ref>نامعتبر؛ نام «s4» چندین بار با محتوای متفاوت تعریف شده است - ↑ ۶٫۰ ۶٫۱ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value). خطای یادکرد: برچسب
<ref>نامعتبر؛ نام «s7» چندین بار با محتوای متفاوت تعریف شده است - ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ ۸٫۰ ۸٫۱ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value). خطای یادکرد: برچسب
<ref>نامعتبر؛ نام «s2» چندین بار با محتوای متفاوت تعریف شده است - ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ ۱۳٫۰ ۱۳٫۱ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value). خطای یادکرد: برچسب
<ref>نامعتبر؛ نام «s3» چندین بار با محتوای متفاوت تعریف شده است - ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ Pérez-Rosas, Verónica; Mihalcea, Rada; Morency, Louis Philippe (1 January 2013). "Utterance-level multimodal sentiment analysis". Long Papers. Association for Computational Linguistics (ACL).صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ Chui, Michael; Manyika, James; Miremadi, Mehdi; Henke, Nicolaus; Chung, Rita; Nel, Pieter; Malhotra, Sankalp. "Notes from the AI frontier. Insights from hundreds of use cases". McKinsey & Company (به English). McKinsey & Company. Retrieved 13 June 2018.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
