خلاصه سازی خودکار چندسندی مبتنی بر استخراج مفاهیم

خلاصه سازی خودکار چندسندی مبتنی بر استخراج مفاهیم

چكیده:
با گسترش روز افزون حجم داده ها و اطلاعات، خلاصه سازی خودکار متون نیز با استقبال چشم گیر محققین روبرو شده است. در سال های اخیر خلاصه سازی چندسندی با اقبال بیشتری مواجه بوده است. یک سیستم خلاصه سازی چندسندی استخراجی، خلاصه سازی است که چندین سند را به عنوان ورودی دریافت کرده و گزبده ای از جملات اسناد اولیه را تولید می نماید. . خلاصه خوب باید بیانگر زمینه کلی بوده و ضمن بیان دیدگاه های مختلف موجود در متن از خوانایی و پیوستگی بالایی برخوردار باشد.
در این پایان نامه با تمرکز به مشکلات اصلی خلاصه سازی چندسندی، یعنی پوشش کامل مطالب اصلی و عدم وجود افزونگی، روشی جدید برای خلاصه سازی ارائه شده است. در مدل پیشنهادی در ابتدا با دید کلی بر اسناد، زمینه آنها استخراج می شود. سپس جملات بر اساس شباهت با زمینه مرتب می شوند. در ادامه با استفاده از برچسب زنی معنایی جملات و شبکه واژگان، شباهت کلمات در نقش های معنایی یکسان محاسبه شده و افزونگی حذف می شود. برای استخراج زمینه از روش آنالیز روابط معنایی پنهان استفاده شده است. نحوه استفاده از این روش در این پایان نامه، باعث افزایش قابل توجه دقت نسبت به کاربردهای قبلی این تکنیک در روش های پیشین شده است. همچنین روش پیشنهادی برای حذف جملات تکراری نسبت به روش های گذشته، منجر به حذف با دقت بیشتر شده است.
ارزیابی سیستم پیشنهادی برروی داده های کنفرانس DUC و با استفاده از معیار ارزیابی ROUGE صورت گرفته است. همچنین سیستم پیشنهادی برروی پیکره کوچکی از متون فارسی هم ارزیابی شده است.
كلمات كلیدی:
خلاصه سازی متن، خلاصه سازی چندسندی، مفهوم، زمینه، آنالیز استخراج روابط معنایی پنهان، شباهت معنایی.

در این مستند روشی برای خلاصه سازی چندسندی خودکار متن ارائه شد که در قیاس با سیستم های مشابه و هم خانواده از دقت و کیفیت بالاتری برخودار بوده و مشکلات آنها را پوشش داده است. در این سیستم در یک مرحله زمینه اصلی متن با استفاده از تکنیک آنالیز روابط معنایی پنهان متن و با ساخت ماتریس کلمه-سند استخراج می شود. استفاده از ماتریس کلمه-سند برای استخراج زمینه باعث می شود که مفاهیم پنهان موجود در کل مجموعه اسناد مرتبط با موضوع استخراج گردد. بعبارت دیگر زمینه موجود در کل اسناد با یک دید سراسری استخراج می گردد بر خلاف روش های پیشین که با دید محلی به نوعی این کار را انجام می دادند. این موضوع منجر به افزایش قابل ملاحظه دقت نسبت به روش های مشابه شده است. همچنین در فاز دوم سیستم پیشنهادی، پس از استخراج جملات مرتبط با زمینه، شباهت معنایی بین جملات به صورت معنایی محاسبه شده و جملات تکراری حذف می گردند. در روش پیشنهادی در این فاز، شباهت بین کلمات دو جمله، در نقش های معنایی یکسان و با استفاده از تعاریف شبکه واژگان محاسبه می گردد. در این محاسبه معیار موقعیت کلمه در عبارت اسمی و فعلی هم به عنوان معیار جدید در نظر گرفته می شود.
در مجموع سیستم پیشنهادی ضمن بهبود چشم گیر نسبت به روش های هم خانواده، نسبت به سیستم های شرکت کننده در کنفرانس بین المللی DUC هم نتایج خوبی کسب کرده است که در قسمت ارزیابی به آن اشاره شد.

از جمله کارهایی که در جهت افزایش دقت سیستم پیشنهادی می توان انجام داد، بررسی تاثیر سایر معیارهای وزن دهی می باشد. در [GON01] تاثیر معیارهای مختلف وزن دهی در افزایش دقت بررسی شده است که این بررسی ها حاکی از آن است که معیار وزن دهی مناسب تا حتی 2 یا 3 برابر می توان دقت را افزایش دهد.
پس از انتخاب جملات مناسب برای خلاصه، در گام بعدی می توان به ساختار جمله ها دست برد و با اعمال عملیاتی نظیر کاهش، افزایش یا ادغام گام هایی به سوی خلاصه سازی چکیده ای برداشت. هدف نهایی سیستم های خلاصه سازی تولید خلاصه های با کیفیت خلاصه های تولید شده توسط انسان می باشد. اگر چه تولید این چنین خلاصه هایی در حال حاضر مقدور نمی باشد اما با بررسی ساختارهای مختلف جملات می توان قواعدی برای حالت های مشخص استخراج نمود تا با کاهش یا افزایش یا ادغام جملات خلاصه هایی نزدیک به خلاصه های انسانی تولید نمود.

فهرست مطالب

1- مقدمه 1
1-1- ساختار پایان‌نامه 3
2- مرور ادبیات 5
2-1- تعاریف پایه زبان شناسی 5
2-1-1- بازیابی اطلاعات 5
2-1-2- ایست واژهها (Stop words) 5
2-1-3- ریشه یابی 6
2-1-4- برچسب زنی بخشهای سخن (POS) 6
2-1-5- برچسب زنی نقش معنایی کلمات (SRL) 7
2-1-6- شبکه واژگان 7
2-2- خلاصه سازی خودکار متن 8
2-2-1- تاریخچه خلاصه سازی متن 9
2-2-2- کاربردهای خلاصه سازی 10
2-2-3- جنبه ها و مدل های مختلف خلاصه سازی متن 11
2-3- مشابهت معنایی مبتنی بر شبکه واژگان 16
2-3-1- روشهای مبتنی بر شمارش یالها 16
2-3-2- روشهای آماری مبتنی بر اطلاعات 17
2-3-3- روشهای مبتنی بر ویژگی‌ها 18
2-3-4- روشهای ترکیبی 18
2-4- روشهای اندازه گیری شباهت بین جملات 19
2-4-1- معیار اشتراک کلمات 20
2-4-2- معیارهای TFIDF 21
2-4-3- معیارهای زبان شناسی 21
2-5- بررسی روش‌های خلاصه سازی 23
2-5-1- روش های خلاصه سازی آماری 23
2-5-2- روش های خلاصه سازی مبتنی بر تکنیک های هوش مصنوعی 28
2-5-3- روشهای خلاصهسازی مبتنی بر روشهای معنایی سطوح بالاتر 28
2-6- روش های ارزیابی و مجموعه داده های استاندارد 38
2-6-1- روش های ارزیابی خلاصه سازی 38
2-6-2- مجموعه داده های استاندارد برای خلاصه سازی 43
2-7- سیستم های معروف خلاصه سازی 45
2-7-1- سیستم MEAD 45
2-7-2- سیستم SweSum 45
2-7-3- سیستم PERSIVAL 46
2-7-4- سیستم های تجاری موجود 46
2-7-5- ساير سيستم ها 47
2-8- خلاصه سازی در زبان فارسی 47
2-8-1- سیستم FarsiSum 48
2-8-2- سایر کارهای انجام شده 48
2-9- خلاصه 49
فصل 3 و 4 موجود نیست….
5- نتیجه‌گیری و کارهای آتی 105
5-1- نتیجه‌گیری 105
5-2- کارهای آتی 105
6- منابع 107

فایل فشرده حاوی یک فایل: