کاربرد تکنیک‌های پردازش زبان طبیعی در پردازش متن (بخش ششم)

مشاهده ی تمام آموزش های NLP

یکی از حوزه‌هایی که در سال‌های اخیر توجه پژوهشگران زیادی را به خود جلب کرده است غلط‌یابی و نرمال‌سازی متن است. نرمال‌سازی به معنای تبدیل متن به شکل استاندار و نوشتاری زبان موردنظر است (jurafsky and martin, 2009).  در این بخش در ابتدا به تعریف مبانی نظری موضوع موردنظر پرداخته خواهد شد. سپس در بخش‌های بعدی  نمونه‌ای از کدهای غلط‌یابی و نرمال‌سازی متن فارسی نیز اضافه می‌گردد.

پردازش زبان طبیعی فارسی (NLP) - مقدمه
پردازش زبان طبیعی فارسی Persian natural language processing
مقدمه
این ایده که کامپیوترها بتوانند زبان انسان را پردازش و درک کنند به سال‌های ابتدایی اختراع کامپیوترها بازمی‌گردد و بشر همواره به دنبال این مهم بوده است که بتواند به‌وسیله زبان طبیعی انسان با کامپیوترها ارتباط برقرار نماید. در این مبحث ما یک گرایش بین‌رشته‌ای را معرفی خواهیم کرد که وظیفه فهماندن زبان انسان به کامپیوتر را برعهده دارد. این گرایش با نام‌‎های مختلفی ازجمله پردازش زبان طبیعی (Natural Language processing)، فناوری زبان (Language technology)، زبان‌شناسی رایانشی (Computational linguistics) در بهترین و معتبرترین دانشگاه‌های دنیا ازجمله دانشگاه Stanford در حال توسعه می‌باشد. در این گرایش از اصول هوش مصنوعی، علم کامپیوتر، زبان‌شناسی، ریاضیات، آمار، روان‌شناسی و دیگر علوم مرتبط بهره گرفته می‌شود. امروزه، تکنیک‌های پردازش زبان طبیعی در زندگی روزمره ما بسیار نقش بسزایی را ایفا می‌کنند.