GPT-3
مبدل پیش‌تربیت‌شده‌ی مولد ۳ ( GPT-3 ) یک مدل زبان خود همبسته است که از یادگیری عمیق برای تولید متن مانند انسان استفاده می کند. این مدل پیش بینی زبان نسل سوم در سری GPT-n است که توسط OpenAI ، آزمایشگاه تحقیقاتی هوش مصنوعی مستقر در سانفرانسیسکو ساخته شده است. [۱] نسخه کامل GPT-3 دارای 175 میلیارد پارامتر یادگیری ماشین است که بیش از دو مرتبه بزرگتر از نسخه قبلی خود یعنی GPT-2 است . :۱۴ GPT-3 ، که در ماه مه 2020 معرفی شد ، و از ژوئیه سال 2020 در مرحله آزمایش بتا قرار دارد ، [۲] بخشی از روند سیستم های پردازش زبان طبیعی (NLP) از نمایش های زبان از پیش تربیت شده است. قبل از انتشار GPT-3 ، بزرگترین مدل زبان Turing NLG مایکروسافت بود که در فوریه 2020 معرفی شد ، با 17 میلیارد پارامتر یا کمتر از 10 درصد در مقایسه با GPT-3.
کیفیت متن تولید شده توسط GPT-3 به حدی است که تمایز آن از آنچه توسط یک انسان نوشته شده دشوار است ، که هم فواید و هم خطراتی دارد. سی و یک محقق و مهندس OpenAI مقاله اصلی 28 مه 2020 را با معرفی GPT-3 ارائه دادند. در مقاله خود ، آنها در مورد خطرات احتمالی GPT-3 هشدار داده و خواستار تحقیقات برای کاهش خطر شدند. :۳۴ دیوید چالمرز ، فیلسوف استرالیایی ، GPT-3 را به عنوان "یکی از جالب ترین و مهمترین سیستم های هوش مصنوعی که تاکنون تولید شده است" توصیف کرد. [۳]
پیش‌زمینه[ویرایش]
به گفته اکونومیست ، الگوریتم های بهبود یافته ، رایانه های قدرتمند و افزایش داده های دیجیتالی شده باعث ایجاد انقلابی در یادگیری ماشینی شده است که به همراه تکنیک های جدید در سال 2010 منجر به "پیشرفت های سریع در کارها" از جمله دستکاری در زبان شد. [۴] مدلهای نرم افزاری برای یادگیری با استفاده از هزاران یا میلیون ها نمونه در "ساختار" آموزش داده می شوند ... آزادانه مبتنی بر معماری عصبی مغز ". یکی از معماری های مورد استفاده در پردازش زبان طبیعی (NLP) یک شبکه عصبی مبتنی بر یک مدل یادگیری عمیق است که برای اولین بار در سال 2017 معرفی شد - ترانسفورمر . مدل های GPT-n مبتنی بر این معماری شبکه عصبی مبتنی بر ترانسفورمر است. تعدادی سیستم NLP وجود دارد که توانایی پردازش ، استخراج ، سازماندهی ، اتصال ، متضاد ، درک و ایجاد پاسخ به سؤالات را دارند. [۵]
در 11 ژوئن سال 2018 ، محققان و مهندسان OpenAI مقاله اصلی خود را در مورد مدل های تولیدی (مدل های زبانی سیستم های هوش مصنوعی) ارسال کردند که می توان با یک مجموعه گسترده و متنوع از متن از طریق مجموعه داده ها ، از قبل آموزش داد ، در فرایندی که آنها به نام مبدل پیش‌تولید‌شده می‌شناسند (GP). [۶] نویسندگان توصیف کردند که چگونه عملکردهای درک زبان در پردازش زبان طبیعی (NLP) در GPT-n از طریق یک فرآیند "پیش تولید مولد یک مدل زبان بر روی اجناس متنوع از متن بدون مارک بهبود یافته ، و پس از آن با تنظیم دقیق و تبعیض آمیز بر روی هر خاص توصیف می شود. وظیفه." این امر نیاز به نظارت انسانی و برچسب زدن دست با فشرده زمان را از بین می برد.
در فوریه سال 2020 ، مایکروسافت Turing Generation Language Language Natural (T-NLG) خود را معرفی کرد ، که در آن زمان "بزرگترین مدل زبانی که تاکنون با 17 میلیارد پارامتر منتشر شده است" بود. [۷] این عملکرد بهتر از هر مدل زبان دیگر در کارهای مختلفی بود که شامل جمع بندی متون و پاسخ به سؤالات بود.
توانایی ها[ویرایش]
2020 مه 28 آرشیو قبل از مطبوعات و توسط گروهی از مهندسان و محققان 31 در OpenAI توسعه GPT-3، نسل سوم "مدل زبانی دولت از هنر" توصیف کرد. این تیم ظرفیت GPT-3 را با بیش از دو سفارش از پیشینیان خود یعنی GPT-2 افزایش داد و GPT-3 را به بزرگترین مدل زبان غیر پراکنده تا به امروز تبدیل کرد. :۱۴ [۱] تعداد پارامترهای بالاتر GPT-3 به دقت بیشتری نسبت به نسخه های قبلی با ظرفیت کمتر می دهد. [۸] ظرفیت GPT-3 ده برابر بیشتر از مایکروسافت Turing NLG است.
شصت درصد از مجموعه داده های قبل از تمرین وزنه برداری برای GPT-3 از نسخه فیلتر شده Common Crawl متشکل از 410 میلیارد توکن رمزگذاری شده با بایت است . :۹ منابع دیگر 19 میلیارد توکن از WebText2 را نشان می دهند که 22٪ از کل وزن را به خود اختصاص داده است ، 12 میلیارد نشانه از کتاب 1 که 8٪ ، 55 میلیارد توکن از کتاب2 را به نمایندگی از 8٪ و 3 میلیارد توکن از ویکی پدیا را 3٪ نشان می دهد. :۹ GPT-3 با صدها میلیارد کلمه آموزش داده شده است و قادر به کدگذاری در CSS ، JSX ، پایتون از جمله موارد دیگر است. [۲] از آنجا که داده های آموزش GPT-3 همه جانبه بود ، برای انجام کارهای زبانی مشخص نیازی به آموزش بیشتر ندارد.
در 11 ژوئن سال 2020 ، OpenAI اعلام کرد که کاربران می توانند از GPT-3 API کاربر پسند آن استفاده کنند . "ابزار یادگیری ماشین" برای کمک به OpenAI "نقاط قوت و محدودیت" این فناوری جدید. [۹] [۱۰] در این دعوت توضیح داده شده است که چگونه این API یک رابط کاربری "متن در ، متن بیرون" با هدف کلی دارد که می تواند به جای یک مورد معمولی یکبار استفاده ، تقریبا "هر کار زبان انگلیسی" را تکمیل کند. به گفته یك كاربر ، كه به نسخه اولیه اولیه OpenAI GPT-3 API دسترسی داشت ، GPT-3 در نوشتن "متن شگفت آور منسجم" با تنها چند پیام ساده "کاملاً خوب" بود. [۱۱]
از آنجا که GPT-3 می تواند "مقالاتی خبری تولید کند که ارزیابان انسان در تشخیص مطالب نوشته شده توسط انسانها با مشکل روبرو شوند" ، GPT-3 دارای "پتانسیل پیشبرد برنامه های کاربردی مفید و مضر مدل های زبانی است". :۳۴ محققان در مقاله خود در تاریخ 28 مه 2020 ، به طور مفصل "اثرات مضر GPT-3" احتمالی را توضیح داده اند که شامل "اطلاعات نادرست ، اسپم ، فیشینگ ، سوء استفاده از فرآیندهای قانونی و دولتی ، نوشتن مقاله های کلاهبرداری دانشگاهی و بهانه های مهندسی اجتماعی است. " نویسندگان توجه خود را به این خطرات جلب می کنند تا خواستار تحقیق در زمینه کاهش ریسک شوند . :۳۴
بررسی ها[ویرایش]
فرهاد مانجو در بررسی 29 ژوئیه سال 2020 در نیویورک تایمز ، گفت که GPT-3 - که می تواند باعث ایجاد کد رایانه و شعر و همچنین نثر شود - فقط "شگفت انگیز" ، "شبح و احمق" و "فروتنانه" نیست. بلکه "بیش از کمی وحشتناک". [۱۲]
دیلی نو یک سری مقاله از نه فیلسوف در GPT-3 ارائه داد. [۱۳] دیوید چالمرز ، فیلسوف استرالیایی ، GPT-3 را به عنوان "یکی از جالب ترین و مهمترین سیستم های هوش مصنوعی که تاکنون تولید شده است" توصیف کرد. [۳]
یک بررسی در Wired گفت که GPT-3 "لرزهایی را در سرتاسر دره سیلیکون تحریک می کند". [۱۴]
مقاله ای در Towards Science Science اظهار داشت که GPT-3 با صدها میلیارد کلمه آموزش داده شده است و قادر به کدنویسی در CSS ، JSX ، پایتون و سایر زبان ها است. [۲]
National Law Review می گوید GPT-3 "گامی چشمگیر در روند بزرگتر" است ، در حالی که OpenAI و دیگران در حالی که به "کار به سمت یک هوش عمومی تر" می روند "برنامه های مفیدی برای همه این قدرت" پیدا می کنند. [۱۵]
منابع[ویرایش]
- ↑ ۱٫۰ ۱٫۱ Shead, Sam (July 23, 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. Retrieved July 31, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد. Four preprints were released between May 28 and July 22, 2020.
- ↑ ۲٫۰ ۲٫۱ ۲٫۲ Bussler, Frederik (July 21, 2020). "Will GPT-3 Kill Coding?". Towards Data Science. Retrieved August 1, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ ۳٫۰ ۳٫۱ Chalmers, David (July 30, 2020). Weinberg, Justin, ed. "GPT-3 and General Intelligence". Daily Nous. Philosophers On GPT-3 (updated with replies by GPT-3). Retrieved August 4, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ "Natural Language Processing". Retrieved 2020-07-31.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (June 11, 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). p. 12. Retrieved July 31, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ Ray, Tiernan (June 1, 2020). "OpenAI's gigantic GPT-3 hints at the limits of language models for AI". ZDNet. Retrieved July 31, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ "OpenAI API". OpenAI. June 11, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ "TechCrunch – Startup and Technology News". TechCrunch. June 11, 2020. Retrieved July 31, 2020.
If you’ve ever wanted to try out OpenAI’s vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on “virtually any English language task.”
صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد. - ↑ Arram (July 9, 2020). "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. Retrieved July 31, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ Weinberg, Justin, ed. (July 30, 2020). "Philosophers On GPT-3 (updated with replies by GPT-3)". Daily Nous. Retrieved July 31, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
- ↑ خطای لوآ در پودمان:Citation/CS1/en/Identifiers در خط 47: attempt to index field 'wikibase' (a nil value).
- ↑ Claypoole, Theodore (July 30, 2020). "New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel". The National Law Review. Retrieved August 4, 2020.صفحه پودمان:Citation/CS1/en/styles.css محتوایی ندارد.
لینک های خارجی[ویرایش]
- ویدئو: OpenAI GPT-3 - تقریباً در همه چیز خوب است! (دو مقاله کوتاه)
- ویدئو: GPT3: یک مدل زبان حتی بزرگتر ( رایانه ای )
- ویدئو: GPT-3 vs Human مغز (لکس فریدمن)
رده:هوش مصنوعی رده:یادگیری عمیق رده:یادگیری بی‌نظارت رده:یادگیری ماشینی
This article "GPT-3" is from Wikipedia. The list of its authors can be seen in its historical and/or the page Edithistory:GPT-3. Articles copied from Draft Namespace on Wikipedia could be seen on the Draft Namespace of Wikipedia and not main one.
