ارزیابی سیستم های توصیه گر – بخش دوم

و اما پس از آشنایی کامل با انواع سیستم های توصیه گر و نحوه¬ی کار آن¬ها به موضوع اصلی یعنی ارزیابی سیستم های توصیه گر خواهیم پرداخت. می دانیم که سیستم های توصیه گر فعلی یک هدف اصلی و روشن را دنبال می نمایند و آن هدایت کاربر به اشیاء و آیتم های مفید، جالب و مورد علاقه ی وی است. بدین ترتیب جهت ارزیابی یک سیستم توصیه گر می¬توان ارزیابی این امر که چه مقدار از این هدف محقق شده است را مد نظر قرار داد.

اگر چه با این تعریف، این سیستم ها طی سالیان اخیر تکامل یافته و رو به رشد هستند ولی به سختی می توان در مورد معیارهای ارزیابی آن ها اظهار نظر کرد. از اولین سیستم های توصیه¬گر تا به امروز، اکثر ارزیابی های تجربی منتشر شده صرفا بر اندازه گیری میزان نزدیکی پیش بینی¬های سیستم توصیه گر با ترجیحات واقعی کاربر متمرکز شده است.

اگر چه به طور کلی، این اندازه گیری ها بر هدف کلی و عمومی سیستم های توصیه گر فوق که در ابتدا بیان شد مطابقت ندارد. علاوه بر این، برخی از معیارها سیستم های توصیه گر را مجبور به پیروی از سیاست های خاصی میکنند که امکانات آنها را محدود می نماید. در واقع، به جای پیگیری هدف مشترکی که برای هر سیستم توصیه گر ادعا می شود، در حال حاضر متأسفانه، یک سری اهداف مبهم و غیرقطعی وجود دارد که عملا توسط معیارهای متنوع فعلی به طور غیر رسمی عرضه می شود.

برای تشریح بیشتر این امر، در چند پاراگراف نقل قول برخی از محققان در این حوزه را خواهیم آورد]20[:

چالش اصلی، انتخاب یک متریک مناسب است که تنوع زیاد معیارهای منتشر شده جهت ارزیابی کمی دقت سیستم های توصیه گر را پوشش داده و همگی آنها را در بر گیرد. این فقدان استاندارد باعث لطمه زدن به پیشرفت دانش مربوط به سیستم توصیه گر مبتنی بر فیلترینگ تجمعی خواهد بود. بدون داشتن معیارهای استانداردی در این زمینه، محققان در زمان ارزیابی سیستمهای خود به معرفی معیارهای جدیدی خواهند پرداخت و بدین ترتیب با تنوع بسیار زیاد معیارهای ارزیابی در حال استفاده، مقایسه¬ی نتایج منتشر شده در یک نشریه با نتایج نشریه ای دیگر بسیار دشوار خواهد بود.

به همین دلیل، بسیار سخت خواهد بود که بتوان این نشریات متنوع را در یک مجموعه منسجم علمی در رابطه با کیفیت الگوریتم های سیستم توصیه گر تجمیع نمود. علاوه بر این، این معیارها محدودیت های خاصی دارند.

محققانی که می خواهند به مقایسه کمی دقت سیستم های توصیه گر مختلف بپردازند نخست باید یک یا چند معیار را انتخاب کنند. در انتخاب یک متریک، محققان با طیف وسیعی از سوالات روبرو هستند. آیا متریک مورد نظر، کارایی سیستم را نسبت به وظایف کاربر که برای آن طراحی شده بود اندازه گیری می نماید؟ آیا نتایج حاصل از انتخاب این متریک با سایر نتایج منتشر شده در سایر کارها در این زمینه قابل مقایسه است؟ آیا مفروضاتی که مبنای یک متریک قرار می گیرد،درست است؟ آیا متریک از حساسیت کافی برای تشخیص تفاوت های واقعی موجود برخوردار می باشد؟ چه مقدار تفاوت بین مقادیر حاصل شده از متریک برای ایجاد یک اختلاف آماری قابل توجه بایستی وجود داشته باشد؟ پاسخ کامل به این پرسش ها هنوز هم به طور کامل در مطبوعات منتشر شده ذکر نگردیده است.

با وجود این مشکلات ، ما نبایستی از هدف نهایی از هر متریک برای سیستم های توصیه گر چشم پوشی نماییم. یک متریک خوب باید ظرفیت محاسبه ی “رفتار خوب” یک سیستم های توصیه گر را دارا بوده و هر زمان که این سیستم ها در محیط های مشابهی (به عنوان مثال مجموعه داده ای از فعل و انفعالات کاربران) ظاهر گشتند، مقادیر مشابهی را تولید نماید.

علاوه بر این ، بایستی تعریف روشنی از معنی “رفتار خوب” ارائه نماییم. در هر صورت، آن باید با هدف واقعی از سیستم توصیه گر عمومی گفته شده که در ابتدا ذکر گردید مطابقت داشته باشد: هدایت کاربر به اشیاء و آیتم های مفید، جالب و مورد علاقه ی وی. لازم به ذکر است که دستیابی به این هدف مستلزم انجام دو وظیفه مختلف می باشد: (الف) تولید پیشنهاداتی که توسط کاربر مورد پذیرش واقع شود. (ب) فیلتر کردن آیتم های مفید و جالب. اولین وظیفه، با یک رفتار خارجی و تعاملی که هر توصیه گر به طور مستقیم به کاربر نشان می دهد به انجام می¬رسد. وظیفه دوم که مرتبط است با ”پیدا کردن آیتم های خوب” ، با یک رفتار داخلی تر و تعاملی کمتر. با این حال، با وجود تعداد زیاد معیارهای منتشر شده تا به امروز، تعیین این دو وظیفه با هم، به عنوان یک هدف کلی، بر روی آنها بسیار دشوار است. علاوه بر این، جهت گیری یک تحقیق خاص ممکن است بیشتر بخش دوم از هدف را مد نظر قرار دهد، به گونه ای که اغلب هدف بخش اول در نظر گرفته نشود. در پایان این مباحث ما به سمت توسعه یک استاندارد جدید خواهیم رفت به گونه ای که هر دو این اهداف را با یکدیگر محقق سازد.

هرگاه یک سیستم توصیه گر ارزیابی شده است، معیاری استفاده می شود که بر اساس یک سری فرضیات خاص برای آن ساخته شده است. بنابراین، ما این بخش را به مرور و بررسی رایج ترین معیارها با مشخص کردن مفروضاتی که بر آنها استوار هستند اختصاص خواهیم داد و پر اهمیت ترین آنها را در نظر خواهیم گرفت. برای این منظور، اول از همه، ما شروع به توصیف چارچوب معمول پذیرفته شده در این زمینه برای تعریف فرآیند توصیه عمومی می نماییم.
در این چارچوب فعلی، یک سیستم توصیه گر در سیستم دیگری حاوی تعدادی از آیتم های موجود که توصیه می شوند تعبیه شده است. به منظور آغاز روند توصیه، آیتم های موجود بایستی توسط افراد درجه بندی شوند. در بسیاری از سیستم های توصیه گر این درجه بندی به وضوح فراهم می گردد. در برخی از موارد دیگر، این درجه بندی و ارزیابی از فعل و انفعالات سایر کاربران استنباط می شود و رتبه های ضمنی نامیده می شوند.
پس از آن ، هنگامی که سیستم توصیه گر به اندازه کافی رتبه بندی داشته باشد، این روند می تواند شروع شود. برای هر یک از توصیه ها، تعداد N<=I از اشیاء  توسط توصیه گر  انتخاب شده ، و به کاربر مورد نظر نشان داده می شود. علاوه بر این ، برخی از سیستم های توصیه گر همچنین اشیای محدود شده و برگزیده را جهت نمایش به کاربر در قالب یک لیست مرتب رتبه بندی می کنند. در مرحله بعد، کاربر احتمالا آیتم هایی را که در بالای این لیست ظاهر می گردند وارسی می کند.
در نهایت ، به منظور ارزیابی عملکرد سیستم توصیه گر ، برای هر شیء نشان داده شده به یک کاربر خاص ما باید میزان مطلوبیت و نزدیکی آیتم نشان داده شده را نسبت به ترجیحات کاربر انداره گیری نماییم. علاوه بر این ، در مورد لیست مرتب، ما باید مکان هر آیتم توصیه شده در این لیست را نیز به حساب آورده و تفسیر نماییم. در ادامه ، مرور سریعی بر چگونگی ارزیابی های انجام شده تا به امروز خواهیم داشت.

ملاحظات اولیه
به منظور اندازه گیری میزان نزدیکی پیش بینی ها به ترجیحات واقعی کاربران به طور معمول از یک نمایش عددی استفاده می شود. علاوه بر این ، به دلیل شفافیت بیشتر از علائم یکسانی در ادامه ی بخش جاری استفاده خواهیم کرد. برای این منظور( P(u , i پیش بینی سیستم توصیه گر برای کاربر خاص u و آیتم i و( p(u , i مقدار واقعی ترجیحات کابر تعریف می گردد.
واضح است، تابع( p(u , iهرگز نمی تواند با دقت مطلق آشکار گردد. بنابراین، ارزش این تابع معمولا با استفاده از رتبه بندی های قبلی کاربران تخمین زده می شود. همانطور که در بالا گفته شد این رتبه بندی می تواند به طور صریح یا ضمنی حاصل گردد.
در برخی موارد، هر دو تابع( p(u , i و( P(u , i تنها دو مقدار 1 یا 0 را ارائه می دهند که بدین معنی خواهد بود که آیتم خاص i برای کاربر خاص u به ترتیب مفید یا بی فایده در نظر گرفته شده است. برای این مورد منحصر بفرد، توابع p و P توابع دوتایی نامیده می شوند.

این را نمی توان انکار کرد که نوعی عدم یکنواختی در معیارهای فعلی برای ارزیابی سیستم های توصیه گر وجود دارد که یحتمل به خاطر تعداد زیاد آنها خواهد بود.
با این حال، ما تلاش خواهیم کرد آنها را بسته به روشی که آنها کمیت رفتار خوب یک سیستم توصیه گر را تعیین می کنند، به یکی از سه دسته طبقه بندی کنیم.
(1) پیش بینی امتیاز. این معیارها بر روی اندازه گیری ظرفیت سیستم توصیه گر برای پیش بینی امتیازی که یک کاربر به یک آیتم خواهد داد قبل از انجام این امتیاز دهی متمرکز شده اند.
(2) پیش بینی رتبه بندی. این معیارها بر روی اندازه گیری ظرفیت سیستم توصیه گر برای پیش بینی رتبه ای که یک کاربر بر روی مجموعه ای از اقلام خواهد داد قبل از انجام این رتبه بندی متمرکز شده اند.
(3) ظرفیت تصمیم گیری موفق (SDMC). این معیارها بر روی اندازه گیری ظرفیت سیستم توصیه گر برای ایجاد یک تصمیم گیری (توصیه) موفق متمرکز شده اند.
جهت این طبقه بندی در ذهن، ما باید MAE ( و معیارهای مربوط به آن) را به طبقه اول، معیارهای رتبه بندی را به طبقه دوم، و دقت ( و معیارهای مرتبط با آن) و معیارهای IR را به طبقه سوم تخصیص دهیم.
اکنون، اگر ما هدف اصلی از سیستم توصیه گر (اعلام شده در ابتدای بخش 1) را ارائه نماییم، مشاهده میکنیم آنچه که طبقه های اول و دوم از معیارها سعی بر اندازه گیری آن دارند را میتوان نوعی از معیارهای بیش از حد دارای جزئیات آن دانست. در واقع، ما نباید مفروضات بیشتری نسبت به آنچه که در واقع لازم دارند، بسازیم. با این حال، هیچ اشاره ای به امتیاز یا رتبه در تعریف هدف یک سیستم توصیه گر وجود ندارد. علاوه بر این، حتی با فرض اینکه توان یک آیتم مفید یک باشد که در اینصورت p(u , i) به اندازه کافی بالا خواهد بود، براستی جای بحث است که ما می توانیم تنها با استفاده از امتیازات کاربران مقدار دقیق تابع p(u , i) را نتیجه بگیریم]41[. در نتیجه، تمایل ما این است که ساخت متریک هایی که فقط هدف واقعی از یک نوع سیستم توصیه گر را اندازه گیری می کنند محدود نماییم که البته بایستی هشیار باشیم که مفروضات ساخته شده باید در سایر سیستم های توصیه گر مناسب از آغاز اندازه گیری قابل تنظیم کردن باشد.
بنابراین، برای حفظ روشی به اندازه کافی عمومی که هر سیستم توصیه گری با هدف بیان شده¬ی قبلی را در بر بگیرد، به خاطر داشته باشیم که این هدف در مبحث شرایط تصمیم گیری سیستم توصیه گر بیان گردید. بنابراین، معیارهای SDMC به عنوان مناسب ترین گزینه برای این کار به نظر می رسد.
با این حال، توجه داشته باشید که هنگامی که ما به یک توصیه مفید در معیار SDMC اشاره می کنیم، به طور کلی در نظر داریم که یک توصیه موفق، توصیه ای است که در آن آیتم توصیه شده مشابه با علایق واقعی کاربر مورد نظر باشد. به عبارت دیگر، اگر توابع ترجیح باینری کاربران را در نظر بگیریم، توصیه های موفق، آنهایی هستند که در مورد آنها داشته باشیم:    | p(u , i) – P(u , i) | = 0
در این مرحله، ما می خواهیم دو پیش فرض مهم را که در پشت این باور معروف وجود دارد بیان نماییم:
(1) فرض اول اینکه یک توصیه موفقیت آمیز است اگر و تنها اگر آیتم توصیه شده، مفید واقع گردد. با این حال، یک هدف توصیه نیز راهنمایی به کاربر می باشد. علاوه بر این، اگر توصیه ای نه “مناسب” و نه به اندازه کافی “جذاب” برای هدایت کاربر به آیتم توصیه شده ارائه گردد، تمامی توصیه ها علی رغم سودمندی آیتم غیر قابل استفاده خواهند بود. به عبارت دیگر، مجزای از تصمیم متداول برای اینکه چه چیزی را توصیه کنیم، نیازمندیم که انتخاب کنیم چه وقت و چگونه توصیه کنیم.
(2) فرض دوم اینکه یک آیتم توصیه شده سودمند است اگر و تنها اگر ترجیحات مربوط به آیتم توصیه شده، منطبق بر ترجیحات کابر هدف واقع گردد. هر چند، این امر همیشه صحیح نیست. به عنوان مثال، بسیاری از سیستم های تجارت الکترونیک را در نظر بگیرید که در آن یک آیتم توصیه شده هر زمان که منجر به تحریک برای انجام یک معامله گردد، مفید است. به طور طبیعی، در مورد دومی می تواند هیچ ارتباطی با ترجیحات کاربر نداشته باشد. در واقع، آن می تواند یک ضرورت و نیاز باشد. بنابراین، سودمندی یک آیتم توصیه شده باید تجدید نظر گردیده و مورد تعمیم قرار گیرد.
بخاطر دلایل ذکر شده در بالا مدعی هستیم “مشخصات بیش از حدی” در معیارهای فعلی برای سیستم های توصیه گر وجود دارد. به عنوان یک راه حل، ما یک چارچوب به اندازه کافی عمومی برای تجزیه ی سیستم های توصیه گر با پیروی از سیاستهای تصریح شده فراهم خواهیم کرد، اما به اندازه کافی خاص که نتایج مهمی از آن حاصل گردد. برای این منظور، ما فرض خواهیم کرد تنها هدف سیستم های توصیه گر راهنمایی کاربران به اشیای جالب و مفید می باشد.

در این بخش ما به توسعه یک چارچوب عمومی برای سیستم های توصیه گر خواهیم پرداخت. بدین دلیل آن را عمومی می¬نامیم که این چارچوب مفروضات دیگری از هدف مشترک سیستم های توصیه گر معرفی نمی نماید. با این حال، به رغم انتزاعی بودن آن، همانطور که در پایان این بخش بررسی خواهد شد، این چارچوب به اندازه کافی نیز خاص میباشد به طوری که می توانیم از آن نتایج ثابت و قابل اطمینانی بدست آوریم. هدف ما دستیابی به یک چارچوب منطقی با اصطلاحات مشترک است. هنگامی که تمامی توصیه گرها از عبارات یکسانی استفاده نمایند، ایجاد معیارهای مشترک آسان تر خواهد بود. به منظور ساخت چنین چارچوبی نمی توان انتظار داشت که با توصیه گرهای فردی کار نماییم. در عوض، ما با مجموعه ای از سیستم های توصیه گر کار خواهیم کرد. در طی این سال ها، طرح های متعددی برای طبقه بندی این سیستم ها بوجود آمده اند. معروف ترین آن شامل طبقه بندی آنها به دو دسته می باشد : فیلترینگ تجمعی و فیلترینگ مبتنی بر محتوا ]42[. علاوه بر این، ترکیبی از این دو نیز وجود دارد ]22[،]36[ .
با وجود محبوبیت آنها، این طبقه بندی بسیار وابسته به نوع الگوریتم استفاده شده توسط سیستم توصیه گر می باشد و سیستم های توصیه گر مناسبی را ممکن است در نظر نگیرد. در واقع، برک مجبور به گسترش این طبقه بندی با اضافه کردن دو گروه بیشتر گردیده است: گروه جمعیت شناختی و گروه مبتنی بر دانش]22[.
علاوه بر این، این طبقه بندی نیز نیاز به گسترش مجدد در آینده خواهند داشت.
به منظور درک طیف وسیعی از سیستم های توصیه گر در یک طبقه بندی، نخست ما باید بر روی شایع ترین و ضروری ترین ویژگی ها تمرکز نماییم: باز هم، هدف آنها. تمرکز بر روی این هدف، به عنوان اولین بار در بخش 1 مورد توجه قرار گرفت. ممکن است آن را به دو هدف جزئی جداگانه تقسیم نماییم: (الف) راهنمایی، (ب) فیلتر کردن آیتم های مفید و جالب. بخش اول ممکن است اساسا با رفتاری تعاملی، پویا و بسیار موقتی انجام گردد، در حالی که بخش دوم با یک رفتار تا حدودی مخالف انجام گیرد، دائمی تر و دارای تعامل مستقیم کمتر.
این ما را به معرفی یک طبقه بندی جدید که مبتنی بر آن زیر اهدافی است که یک سیستم توصیه گر خاص بیشتر بر روی آن تمرکز دارد، تشویق می کند. در واقع، در بخش بعد خواهیم دید که رایج ترین سیستم های توصیه گر با ترک تقریبا خودکار یکی از این دو زیر هدف بیشتر تمایل به دیگری دارند. به همین دلیل، به عنوان بخش نخست و اصلی، ما تمام سیستم های توصیه گر ممکن را بسته به اینکه در آن کدامیک از اهداف بیشتر مد نظر قرار گرفته باشد به دو دسته¬¬ی تعاملی و غیر تعاملی به ترتیب طبقه بندی می کنیم.