پردازش زبان طبیعی فارسی (NLP) - مقدمه
پردازش زبان طبیعی فارسی Persian natural language processing
مقدمه
این ایده که کامپیوترها بتوانند زبان انسان را پردازش و درک کنند به سال‌های ابتدایی اختراع کامپیوترها بازمی‌گردد و بشر همواره به دنبال این مهم بوده است که بتواند به‌وسیله زبان طبیعی انسان با کامپیوترها ارتباط برقرار نماید. در این مبحث ما یک گرایش بین‌رشته‌ای را معرفی خواهیم کرد که وظیفه فهماندن زبان انسان به کامپیوتر را برعهده دارد. این گرایش با نام‌‎های مختلفی ازجمله پردازش زبان طبیعی (Natural Language processing)، فناوری زبان (Language technology)، زبان‌شناسی رایانشی (Computational linguistics) در بهترین و معتبرترین دانشگاه‌های دنیا ازجمله دانشگاه Stanford در حال توسعه می‌باشد. در این گرایش از اصول هوش مصنوعی، علم کامپیوتر، زبان‌شناسی، ریاضیات، آمار، روان‌شناسی و دیگر علوم مرتبط بهره گرفته می‌شود. امروزه، تکنیک‌های پردازش زبان طبیعی در زندگی روزمره ما بسیار نقش بسزایی را ایفا می‌کنند.

پردازش زبان طبیعی فارسی (NLP) - مقدمه
پردازش زبان طبیعی فارسی Persian natural language processing
مقدمه
این ایده که کامپیوترها بتوانند زبان انسان را پردازش و درک کنند به سال‌های ابتدایی اختراع کامپیوترها بازمی‌گردد و بشر همواره به دنبال این مهم بوده است که بتواند به‌وسیله زبان طبیعی انسان با کامپیوترها ارتباط برقرار نماید. در این مبحث ما یک گرایش بین‌رشته‌ای را معرفی خواهیم کرد که وظیفه فهماندن زبان انسان به کامپیوتر را برعهده دارد. این گرایش با نام‌‎های مختلفی ازجمله پردازش زبان طبیعی (Natural Language processing)، فناوری زبان (Language technology)، زبان‌شناسی رایانشی (Computational linguistics) در بهترین و معتبرترین دانشگاه‌های دنیا ازجمله دانشگاه Stanford در حال توسعه می‌باشد. در این گرایش از اصول هوش مصنوعی، علم کامپیوتر، زبان‌شناسی، ریاضیات، آمار، روان‌شناسی و دیگر علوم مرتبط بهره گرفته می‌شود. امروزه، تکنیک‌های پردازش زبان طبیعی در زندگی روزمره ما بسیار نقش بسزایی را ایفا می‌کنند. این تکنیک‌ها در تلفن‌های همراه، کامپیوترهای خانگی، لوازم‌خانگی هوشمند، سیستم‌های هوشمند ناوبری هواپیماها، قطارها، کشتی‌ها و ... وظایف حیاتی‌ای را به عهده دارند. به‌عنوان مثال روزانه میلیون‌ها نفر از موتور جستجوی گوگل استفاده می‌نمایند که بخش اعظمی از جستجوی گوگل بر اساس تکنیک‌های پردازش زبان طبیعی صورت می‌پذیرد.

     توسعه و پیشرفت علم پردازش زبان طبیعی در چهار بازه زمانی صورت پذیرفت:

از 1940 تا 1950  اصول اولیه
از 1957 تا 1970
از 1970 تا 1999 استفاده از ماشین‌های متناهی
از 2000 تا 2007 استفاده از الگوریتم‌های یادگیری ماشین

جهت کسب اطلاعات بیشتر درمورد جزئیات بخش‌های فوق به کتاب پردازش صوت و زبان آقای جرافسکی مراجعه نمایید. (speech and Language processing, Daniel Jurafsky and Martin, 2009)

از تکنیک‌های پردازش زبان طبیعی در ساخت ابزارهای زیر استفاده می‌گردد:

سیستم‌های تشخیص و تولید گفتار (Siri, Google speech recognition system, Dragon)
سیستم‌های ترجمه ماشینی (Google translate)
سیستم‌های استخراج اطلاعات
سیستم‌های بازیابی اطلاعات (Google, yahoo, Bing)
سیستم‌های تشخیص احساسات در متن و در صوت
سیستم‌های خلاصه‌ساز متن
سیستم‌های غلط‌یابی و استانداردسازی متن
سیستم‌های پرسش و پاسخ متنی و صوتی
و ...

ما در این بخش یک توضیح کلی راجع به nlp  برای شما عزیزان ارائه دادیم. حال در بخش‌های بعدی در مورد الگوریتم‌ها و چگونگی کار با این الگوریتم‌ها در پردازش زبان طبیعی بحث خواهد شد. به‌تدریج با این الگوریتم‌ها آشنا خواهیم شد و این الگوریتم‌ها را به‌صورت عملی به کار خواهیم گرفت. درنهایت، از ابزارهای پیشرفته و به‌روزی مانند شبکه‌های عصبی (neural networks) و یادگیری عمیق (Deep neural networks)در پردازش زبان طبیعی فارسی بهره خواهیم برد.

آموزش NLP  پردازش زبان طبیعی (بخش دوم)

NLP چیست؟ (بخش سوم)

عبارات منظم در NLP (بخش چهارم)


 

"تهیه شده در مجموعه ABLY"