ارزيابي ابزارهاي خودکار خلاصه سازي متون

امروزه ابزارهايي نظير خلاصه سازهاي خودکار و مترجم هاي ماشيني توجه زيادي را به خود جلب نموده اند و فعاليت هاي زيادي براي طراحي چنين ابزارهايي در سرتاسر جهان انجام شده است. از اين رو ارزيابي چنين ابزارهايي از اهميت ويژه اي برخوردار است. هدف اين مستند، بررسي روند تکاملي ابزارهاي ارزيابي خودکار خلاصه سازهاي ماشيني مي باشد که از آن در ديگر کاربردهاي پردازش زبان طبيعي و بازيابي اطلاعات از جمله بررسي ميزان تشابه دو متن هم مي توان استفاده نمود. اين ابزارها غالبا شامل معيارهايي براي تعيين کيفيت خلاصه ها به صورت خودکار، از طريق مقايسه آنها با خلاصه هاي توليد شده توسط انسان (خلاصه هاي ايده آل) مي باشد. اين معيار ها تعداد واحدهايي که بين خلاصه هاي سيستمي و خلاصه هاي انساني هم پوشاني دارند نظير n تايي ها ، رشته ي کلمات و جفت کلمات را محاسبه مي نمايند. با تکميل طراحي اين چنين ابزارهايي، ارزيابي آنها ضروري به نظر مي رسد که بايستي طي يک روند مشخص توسط افراد خبره صورت پذيرد. با وجود طراحي ابزارهاي گوناگوني در اين زمينه، طراحي ابزارهايي جديد جهت بهبود نتايج حاصل از اين ابزارها با استفاده از روش هايي نظير دخيل کردن معنا در ارزيابي، ضروري مي باشد.

در عصر حاضر با وبي روبرو هستيم که در آن روز به روز و لحظه به لحظه در حال گسترش اطلاعات و داده­هاي انتشاريافته مي­باشيم. با گسترش روزافزون حجم اطلاعات موجود در وب و افزايش چشم­گير مقالات منتشر شده در زمينه­هاي مختلف علمي، دسترسي درست و مطالعه اطلاعات مورد نياز، همواره يکي از مشکلات و چالش­هاي محققان و پژوهشگران حال حاضر مي­باشد. اينکه چه طور از يک طرف با اين حجم انبوه از داده­ها و از طرفي ديگر با زمان محدودي که در اختيار داريم، بتوانيم مطالب مورد نياز خود را مطالعه کنيم و يا اينکه چه طور مي­توان در روز، چندين کتاب را مطالعه نمود و يا اينکه آيا مي­توان سيستمي طراحي نمود که بتواند با داده­هاي موجود به تمامي سوالات ما پاسخ دهد، اينها سوالاتي است که پاسخ آنها را مي­توان در يک سيستم خلاصه­ساز متن جستجو کرد.

کلمات کليدي: معيار، ارزيابي، خلاصه سازهاي ماشيني، خودکار

در عصر حاضر با وبي روبرو هستيم که در آن روز به روز و لحظه به لحظه در حال گسترش اطلاعات و داده هاي انتشاريافته مي باشيم. با گسترش روزافزون حجم اطلاعات موجود در وب و افزايش چشم گير مقالات منتشر شده در زمينه هاي مختلف علمي، دسترسي درست و مطالعه اطلاعات مورد نياز، همواره يکي از مشکلات و چالش هاي محققان و پژوهشگران حال حاضر مي-باشد. اينکه چه طور از يک طرف با اين حجم انبوه از داده ها و از طرفي ديگر با زمان محدودي که در اختيار داريم، بتوانيم مطالب مورد نياز خود را مطالعه کنيم و يا اينکه چه طور مي توان در روز، چندين کتاب را مطالعه نمود و يا اينکه آيا مي توان سيستمي طراحي نمود که بتواند با داده هاي موجود به تمامي سوالات ما پاسخ دهد، اينها سوالاتي است که پاسخ آنها را مي توان در يک سيستم خلاصه ساز متن جستجو کرد.
خلاصه سازي خودکار سند، يعني توليد يک نسخه مختصرتر از سند اصلي توسط يک برنامه کامپيوتري به نحوي که ويژگي ها و نکات اصلي سند اوليه حفظ شود[1]. بنا بر تعريف ارائه شده در استاندارد ISO 215 [2] سال 1986، خلاصه، “يک بازگويي مختصر از سند“ مي باشد. همانطور که اشاره شد، خلاصه سازي خودکار، توسط کامپيوتر انجام مي شود و به همين دليل تفاوت هاي زيادي با خلاصه اي که توسط انسان توليد مي شود، دارد. انسان ها با توجه به هوش و شعور ذاتي خود قادر به درک و فهم مفاهيم موجود در متن و ارتباط بين آنها مي باشند و اين در حالي است که انجام اين عمليات توسط ماشين، کار بسيار دشوار و پيچيده اي مي باشد. از طرفي ديگر، انسان ها با توجه به سطح دانش و پس زمينه ي اطلاعاتي اي که دارند، ديد متفاوتي از خلاصه ي يک متن يکسان دارند. سيستم هاي خلاصه ساز در دنياي امروز کاربردهاي فراواني دارند. توليد خلاصه هاي کتب مختلف و مقالات علمي، توليد خلاصه اخبار و انتقال آن از طريق سيستم-هايي نظير تلفن همراه، نمايش خلاصه سند يافته شده توسط موتور جستجو، توليد سيستم هاي پاسخ گويي به سوال و … همگي از کاربردهاي اين سيستم مي باشند.
با توجه به نکات مطرح شده و روشن شدن اهميت بسيار زياد خلاصه سازهاي ماشيني، بخشي از اين مستند را به معرفي خلاصه سازهاي معروف و مزايا و معايب هر کدام خواهيم پرداخت. يکي از کارهاي مهم و مشکل در رابطه با خلاصه سازي، ارزيابي خلاصه ها است. دو رهيافت در ارزيابي سيستم‌هاي خلاصه‌سازي وجود دارد: قضاوت انساني و مقايسه با خلاصه‌ي مرجع.

فهرست مطالب

1. مقدمه 1
2. تاريخچه سيستم هاي خلاصه ساز 3
3. انواع سيستم هاي خلاصه ساز 4
4. رويکردهاي خلاصه سازي خودکار متن 7
5. ابزارهاي لازم براي پردازش متن 13
5.1 تشخيص دهنده ي جمله 13
5.2 Tokenizer 13
5.3 Stemmer 14
5.4 Pos tagger 15
5.5 Semantic role labeler 16
5.6 Chunker 16
5.7 Word-net 16
5.8 Named entity recognition 18
5.9 Annotator 18
6. سيستم هاي خلاصه ساز معروف 19
6.1 DMSumm 20
6.2 SweSum 20
6.3 MEAD 21
6.4 GLEANS 21
6.5 PERSIVAL 22
6.6 SUMMARIST 22
6.7 ساير سيستم ها 23
7. مروري بر کارهاي انجام شده در زبان فارسي 23
8. روش هاي ارزيابي خلاصه سازها 26
8.1 ويژگي هاي پايه ي ارزيابي خلاصه ها 27
8.2 ارزيابي دروني (جعبه شيشه اي) 28
8.2.1 پيوستگي خلاصه 29
8.2.2 اطلاع رساني خلاصه 29
8.2.3 دقت و بازخواني جمله 29
8.2.4 رتبه دهي به جملات 30
8.2.5 روش سودمند 30
8.2.6 مشابهت محتوا 31
8.3 ارزيابي بيروني (جعبه سياه) 32
8.3.1 بازي Shannon 32
8.3.2 بازي سوال 33
8.3.3 بازي دسته بندي 33
8.3.4 تداعي کلمات کليدي 34
9. ابزارهاي ارزيابي 34
9.1 محيط ارزيابي خلاصه ها 35
9.2 MEADeval 35
9.3 ISI ROUGE بسته ي ارزيابي خودکار خلاصه 36
9.3.1 معيار ارزيابي ROUGE-N 38
9.3.2 معيار ارزيابي ROUGE-L 39
9.3.3 معيار ارزيابي ROUGE-W 42
9.3.4 معيار ارزيابي ROUGE-S 42
9.3.5 معيار ارزيابيROUGE-SU 43
9.3.6 ارزيابي ابزار ROUGE 43
9.4 ارزيابي خلاصه سازها با بهره گيري از عناصر پايه (BEs) 44
9.5 ارزيابي هرمي 48
9.6 روش هاي مستقل از مدل براي ارزيابي خلاصه ها 50
10. نتيجه گيري 52
11. براي آينده 53
مراجع54

 

سمینار کارشناسی ارشد