خلاصه سازی خودکار متن

آغاز فعالیت سیستم های خلاصه سازی خودکار متن به سال 1950 برمی گردد. در آن زمان به دلیل کمبود کامپیوترهای قدرتمند و مشکلات موجود برای پردازش زبان های طبیعی، کارهای اولیه بر روی مطالعه ی ظواهر متن مانند موقعیت جمله و عبارات اشاره متمرکز شده بود. سال 1970 تا1980 هوش مصنوعی بکار آمد[AZZ99][DEJ79][GRA81][MCK95] [SCH77][YOU85] . ایده ی AI، استخراج نمایش های دانش مانند فریم ها یا الگوها برای شناسایی موجودیت های مفهومی از متن و استخراج روابط بین موجودیت ها با مکانیزم های استنتاج بود. مشکل اصلی آن است که الگوهای تعریف شده، محدودیت هایی دارند و ممکن است به تحلیل کامل موجودیت های مفهومی منجر نشود. از اوایل1990 تا به حال هم روش های بازیابی اطلاعات بکار گرفته شده است[AON97] [GOL99] [GON01] [HOV97] [KUP95] [MAN99]

[SAL97] [TEU97] [YEH02]. بیشتر این روش ها بر روی سطوح ظاهری متمرکز شده و وارد حوزه های معنایی نمی شوند.

Kupiec اولین الگوریتم را در این زمینه پیشنهاد داد .[KUP95] در این روش بر اساس مقادیر ویژگی های یک جمله، احتمال حضور آن در خلاصه، تخمین زده می شود. او عمل خلاصه سازی را به صورت یک مسئله ی دسته بندی، درنظرگرفت و دسته بندی کننده های بیزین را برای تعیین جملاتی که باید در خلاصه وارد شوند، بکار برد.

Chuang و Yang چندین الگوریتم مانند درخت تصمیم و دسته بندی کننده را برای استخراج قطعات جمله پیشنهاد دادند [CHU00]. این روش های خلاصه سازی در یک حوزه خاص عملکرد خوبی دارند. اما برای یادگیری صحیح، نیازمند مجموعه های آموزشی بسیار بزرگی هستند. در سال 1997، Barzilay روشی برای تولید خلاصه با پیدا کردن زنجیره های لغوی معرفی کرد که به توزیع کلمه و اتصالات لغوی بین آنها برای تقریب زدن محتوا و ارائه یک نمایش از ساختار لغوی به هم پیوسته ی متن اتکا می کرد [BAR97].

از روش های آماری هم در خلاصه سازی متن زیاد استفاده شده است که از جمله آنها می توان به روش های مبتنی بر مدل موضوع [WAN09][HAR05] و روش های مبتنی بر گراف

 [MIH05][MIH04] اشاره نمود.

چنانکه شاهد هستیم علی رغم اینکه بحث خلاصه سازی از سال ها قبل مطرح شده است، اما همچنان ضعف های زیادی در این زمینه وجود دارد و کارهای بسیاری برای رسیدن به وضعیتی مطلوب در این زمینه بایستی انجام پذیرد.

امروزه با رشد چشمگير حجم مستندات منتشر شده در وب و نياز اساسي به نگهداري، دسته­بندي، بازيابي و پردازش ماشيني و سريع آنها توجه به پردازش زبان طبيعي و بهره­گيري از ابزارهايي نظير خلاصه‌سازهاي خودکار و مترجم‌هاي ماشيني، بيش از پيش خودنمايي مي­کند. حجم عظیم مطالب از یک سو و محدود بودن زمان از سوی دیگر موجب شد تا محققان به دنبال راهکاری برای انتخاب درست و فشرده مطالب گردند. خلاصه‌سازی خودکار متن به عنوان هسته‌ی مرکزی طیف گسترده‌ای از ابزارهای پردازشگر متن از سال‌ها پیش همواره به عنوان یک موضوع مهم مورد بررسی و تحقیق قرار گرفته است.

خلاصه‌سازي خودکار سند، يعني توليد يک نسخه مختصرتر از سند اصلي توسط يک برنامه رايانه‌اي به نحوي که ويژگي‌ها و نکات اصلي سند اوليه حفظ شود[MAN99]. بنابر تعريف ارائه شده در استاندارد ISO215، خلاصه “يک بازگويي مختصر از سند” مي­باشد. خلاصه­سازی از دیدگاه­های مختلف دارای تقسیم­بندی­های متفاوتی می­باشند. از یک دیدگاه به دو دسته خلاصه گزینشی و چکیده­ای تقسیم می­شوند. در خلاصه­های گزینشی، متن خلاصه از کنار هم قرار گرفتن کلمات و جملات انتخابی متن مرجع بوجود می­آید؛ درحالیکه در خلاصه­های چکیده­ای، لغات تغییر می­یابند و جملات خلاصه می­توانند بازتولید گردند. دسته­بندی­های دیگری هم برای روش­های خلاصه­سازی وجود دارد که در قسمت­های بعدی به آنها پرداخته شده است.

خلاصه­سازي خودکار توسط رایانه انجام مي­شود و به همين دليل تفاوت­هاي زيادي با خلاصه­اي که توسط انسان توليد مي­شود دارد. انسان­ها با توجه به هوش و شعور ذاتي خود قادر به درک و فهم مفاهيم موجود در متن و ارتباط بين آنها مي­باشند و اين در حالي است که انجام اين عمليات توسط ماشين کار بسيار دشوار و پيچيده­اي مي­باشد.

هدف نهایی سیستم­های خلاصه­سازی تولید خلاصه­هایی با کیفیت نزدیک به خلاصه­های انسانی می­باشد. اما برای رسیدن به این مهم چالش­های زیادی پیش رو وجود دارد. مهم­ترین مشکل در گام نخست انتخاب مناسب­ترین جملات متن اصلی می­باشد به نحوی که مطالب مهم و اصلی متن را پوشش داده، از پیوستگی و خوانایی بالایی برخوردار بوده، دارای ساختار گرامری مناسبی باشد و در عین حال فاقد افزونگی و جملات تکراری یا شبیه به هم باشد.