پایان نامه ایجاد یک سیستم توصیه گر در وب با بهره‌ گیری از نمایه‌ های کاربران و روش‌ های یادگیری ماشین

فهرست:

فهرست شکل‌ها ‌د

فهرست جدول‌‌ها ‌ه

فصل اول: کلیات تحقیق.. 2

1-1-   بیان مسئله. 3

1-2-   ضرورت تحقیق.. 4

1-3-   اهداف تحقیق.. 5

1-4-   ساختار تحقیق.. 5

فصل دوم: ادبیات موضوع. 7

2-1-   تعریف واژگان و اصطلاحات... 8

2-2-   چالش های وب... 9

2-3-   انواع روش‌های وب کاوی.. 10

2-3-1-   وب کاوی مبتنی بر کاربرد. 11

2-3-2-   وب کاوی مبتنی بر محتوا 14

2-3-3-   وب کاوی مبتنی بر ساختار. 15

2-4-   شخصی سازی وب... 16

2-4-1-   فواید سیستم شخصی سازی وب... 20

2-4-2-   سیستم‌های فیلتر کننده‌ی مبتنی بر قانون. 20

2-4-3-   سیستم‌های فیلتر کننده‌ی مبتنی بر محتوا 20

2-4-4-   سیستم‌های فیلتر کننده‌ی مشارکتی.. 21

2-5-   سیستم‌های توصیه‌گر. 21

2-6-   شخصی سازی وب براساس وب کاوی مبتنی بر کاربرد. 22

2-7-   منابع داده 24

2-7-1-   داده های کاربرد. 24

2-7-2-   داده های محتوا 25

2-7-3-   داده های ساختار. 25

2-8-   خوشه بندی.. 26

2-8-1-   الگوریتم K-Means. 27

2-8-2-   معیارهای شباهت... 28

2-9-   شبکه‌های عصبی.. 30

فصل سوم: کارهای پیشین.. 32

3-1-   رویکردهای مبتنی بر کاوش قواعد انجمنی و خوشه بندی.. 33

3-2-   روش‌های ترکیبی در شخصی‌سازی وب... 38

3-3-   رویکردهای مبتنی بر شاخص گذاری و کلمات کلیدی.. 42

3-4-   مروری بر سیستم‌های پیشنهاد دهنده وب... 43

3-4-1-   سیستم پیشنهاد دهنده وب... 43

3-4-2-   روش‌های تولید پیشنهاد. 44

3-4-2-1- روش های مبتنی بر فیلتر مشارکتی.. 44

3-4-2-2- روش‌های مبتنی بر محتوا 44

3-4-2-3- روش های مبتنی بر دانش.... 45

3-4-2-4- سیستم های پیشنهاد دهنده ترکیبی.. 46

3-4-3-   مقایسه روش‌های تولید پیشنهاد. 46

فصل چهارم: روش پیشنهادی.. 49

4-1-   پیش پردازش داده‌ها 51

4-1-1-   پاکسازی داده‌ها 51

4-1-2-   شناسایی و بازسازی نشست‌های بازدید کاربران. 52

4-2-   ایجاد نمایه برای شخصی سازی در وب... 52

4-2-1-   ایجاد بردار نشست... 52

4-2-2-   پاکسازی نشست‌ها 54

4-2-3-   ساخت نمایه کاربران. 55

4-3-   خوشه بندی نمایه‌ها براساس رفتار کاربران. 55

4-4-   ساخت سیستم توصیه‌گر با استفاده از شبکه‌های عصبی.. 56

فصل پنجم: پیاده‌سازی و ارزیابی روش پیشنهادی.. 58

5-1-   مرحله پیش پردازش و ساخت بردارهای نشست.... 59

5-2-   مرحله خوشه‌بندی.. 61

5-3-   مرحله تولید پیشنهادات با استفاده از شبکه‌ی عصبی.. 62

5-4-   ارزیابی سیستم پیشنهادی.. 63

فصل ششم: نتیجه‌گیری و پیشنهادات آتی.. 66

6-1-   نتایج تحقیق و تحلیل ها 67

6-2-   کارهای آتی.. 68

فهرست مراجع.............. 70

منبع:

منابع فارسی:

[1]ارزانیان ب.، مرادی دولت آبادی پ.، اخلاقیان ف.، 1388، "شخصی سازی موتورهای جستجو با استفاده از شبکه های مفهومی فازی و ابزارهای داده کاوی"، سومین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیرکبیر.

[2] جکسون، تی .، بیل آر .، ١٣٨٠،  "آشنایی با شبکه های عصبی مصنوعی"، ترجمه محمود البرزی، تهران موسسه انتشارات علمی، تعداد صفحات 146.

 [3] خوگر، ا.، اسدالهی یزدی، ح.، بابایی، ا.، 1390 "تشخیص عیب به کمک شبکه عصبی RBF"، پنجمین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیر کبیر، کد مقاله 136.

[4] رحمانی س.، میبدی م.، 1388، "شخصی سازی وب با استفاده از قوانین انجمنی توسعه یافته"، سومین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیرکبیر.

 [5] رضایی، ز.، هارون آبادی، ع.، میر عابدینی، ج.، 1390، "ارائه روشی برگرفته از تعاملات کاربر، مبتنی بر شبکه های پتری به منظور افزایش انطباق پاسخ موتورهای جستجو با پرس و جوی کاربر" ، پنجمین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیر کبیر، کد مقاله 291.

 [6] زرگانی، ا.، احمدی، ع.، 1390، "پیش بینی قیمت در بازار جهانی ارز با استفاده از شبکه عصبی مصنوعی بر اساس مدلسازی الگوهای هارمونیک"، پنجمین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیر کبیر، کد مقاله123.

[7] صغیری ع.، باقری ع.، 1388، "شخصی سازی بازیابی اطلاعات در سیستم های نظیر به نظیر با استفاده از به اشتراک گذاری نمایه کاربران"، سومین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیرکبیر.

[8] قیاسی، ر.، حاج اکبری، م.، احسن، ر.، مینایی، ب.، ،1390 "به کار گیری روش های داده کاوی در پیش بینی بروز حوادث ناشی از کار"، پنجمین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیر کبیر، کد مقاله 323.

[9] فرصتی ر.، میبدی م.،1387، "الگوریتمی مبتنی بر ساختار پیوندی صفحات و اطلاعات استفاده کاربران برای پیشنهاد صفحات وب"، دومین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیرکبیر.

[10] محمدی دوستدار، ر.، فرصتی، ر.، میبدی، م.، 1390، "سیستم پیشنهاد دهنده وب ترکیبی مبتنی بر گراف دو لایه و پارتیشن بندی گراف"، پنجمین کنفرانس داده کاوی ایران.

 [11] ملک نیا، ا.، 1390،"ارائه الگوریتمی برای طبقه بندی مشتریان حقوقی بانک پارسیان و ارائه خدمات مناسب به گروه های مختلف مشتریان با استفاده از داده کاوی و شبکه های عصبی"، تابستان، پایان نامه جهت اخذ درجه کارشناسی ارشد در رشته‌ی مدیریت فناوری اطلاعات گرایش مدیریت منابع اطلاعاتی. دانشگاه تهران

 [12] معتمدی مهر، ش.، تاران م.، برادران هاشمی ع.، میبدی م.، 1389، "سیستم پیشنهاد دهنده وب با استفاده از اتوماتای یادگیر توزیع شده و پارتیشن بندی گراف"، چهارمین کنفرانس داده کاوی ایران، دانشگاه صنعتی شریف.

[13] نوری، ر.، اشرفی، خ.، اژدرپور، ا.، 1387، "مقایسه کاربرد روش های شبکه عصبی مصنوعی و رگرسیون خطی چند متغیره براساس تحلیل مؤلفه های اصلی برای پیش بینی غلظت میانگین روزانه کربن مونوکسید: بررسی موردی شهر تهران"، مجله فیزیک زمین و فضا، دوره 34، شماره 1، صفحه‌ی 135-152

[14] یوسفی، ف.، نعمت بخش، م.، 1390،"بکارگیری مصرف کاوی وب به منظور ارزیابی ژورنال‌های کتابخانه های دیجیتال" ، پنجمین کنفرانس داده کاوی ایران، دانشگاه صنعتی امیر کبیر.

منابع انگلیسی:

[15] Azimpour, M., Azmi, R., 2011, “A Webpage Similarity Measure for Web Sessions Clustering Using Sequence Alignment”, IEEE, International Symposium on Artificial Intelligence and Signal Processing (AISP), pp. 20 – 24.

[16] Baglioni M., Ferrara U., Romei A., Ruggieri S. and Turini F., 2003, “Preprocessing and Mining Web Log Data for Web Personalization”, Springer, advances in artificial intelligence, online ISBN: 978-3-540-39853-0,Vol. 2829, pp 237-249.

 [17] Breese, J., Heckerman, D. & Kadie, C., 1998, “Empirical Analysis of Predictive Algorithms for Collaborative Filtering”, in: Proc. of the 14th Conference on Uncertainty in Artificial Intelligence, pp. 43–52.

[18] Billsus, D., Pazzani, M., 2000, “User Modeling For Adaptive News Access”, in: User- Modeling and User-Adapted Interaction”, vol. 10, no. 2-3, pp. 714-720.

[19] Burke, R., 2002, “Hybrid Recommender Systems: Survey and Experiments”, user modeling and user-adapted interaction, volume 12, issue 4, pp. 331-370.

[20] Castellano G. , Fanelli A. M., Torsello M. A. , 2011, ” NEWER: a System for NEuro-fuzzy WEb Recommendation”, in: Applied Soft Computing, Elsevier Science Publishers B. V. Amsterdam, The Netherlands, vol. 11, no. 1, pp. 793-806.

[21] Cooley, R., Mobasher B., Srivastava, J., 1999, “Data Preparation for Mining World Wide Web Browsing Pattern”, Springer, Knowledge and information sys. Vol 1, Issue 1, pp 5-32.

 [22] Eirinaki, M., Vazirgiannis, M., 2003, “Web Mining for Web Personalization”, ACM Transactions on Internet Technologies (ACM TOIT), NY, USA, vol.3 no. 1, pp. 1–27.

[23] Feldman, F., Sanger, J., 2007, “The Text Mining Hand Book”.Cambridge university press, 424 pages.

[24] Faloutsos C. and Chan R., 1988, “Fast Text Access Methods for Optical and Large Magnetic Disks: design and performance comparison”, In Proceedings of the 14th VLDB Conference, pages 280-293.

[25] Guo J., Keselj J. & Gao Q., 2005, “Integrating Web Content Clustering Into Web Log Association Rule Mining”, Proc. of 18th Conference of the Canadian Society for Computational Studies of Intelligence, Victoria, BC, Canada, pp 182-193.

[26] Gong, S., Cheng, G., 2008, “Mining User Interest Change for Improving Collaborative Filtering”, in: Intelligent Information Technology Application, IITA '08. Second International Symposium on, vol. 3, pp. 8-13.

[27] Hammouda, K.H., Yang, C., 1975 “A Vector Space model for autamantic indexing” communication of the ACM, vol 18, issue 11, pp 613-620.

[28] Ishikawa, H., nakajima, T., mizuhara, T., yokoyama, S., nakayama, J., ohta, M., katayama, K., 2002, “an Intelligent Web Recommendation System: a Web Usage Mining Approach”, ISMIS, pp. 342-350.

[29] Jomina, J., Nayana, V., 2012, “Cluster Optimization for Enhanced Web Usage Mining Using Fuzzy Logic”, IEEE, World Congress on Information and Communication Technologies (WICT), ISBN: 978-1-4673-4806-5, pp. 948 – 952.

[30] Kumar malviya, R., malviya M.c., Soni, v.K., joshi, R., Purohit P., 2011, “Survey of Web Usage Mining”, international journal of computer science and technology, Online ISSN: 0976-8491,vol 2, issue 3.

[31] Khademali, Z., Harounabadi, A., Mirabedini, J.,2013 “A New Inteligent Algorithm To Create a Profile For User Based On web Interactions”, Management Sience letter 3, pp 1155-1160.

[32] Li, J. and Zaiane, O. R., 2004, “Combining Usage, Content and Structure Data to Improve Web Site Recommendation”,5th International Conference on Electronic Commerce and Web Technologies, Springer Berlin, Heidelberg, pp. 305-315.

[33] Liu H. and Keselj, V., 2007, ”Combined Mining of Web Server Logs and Web Contents For Classifying User Navigation Patterns and Predicting User’s Future Requests”, Data and Knowledge Engineering, vol. 61, no. 2, pp. 304-330.

[34] Lieberman H., Dyke N., and Vivacqua, A., 1999, “Let's Browse: A Collaborative Web Browsing Agent”, Proc. of the 1999 International Conference on Intelligent User Interfaces (IUI), NY, USA, pp. 65-68.

[35] Li, J., Zaiane, O. R., 2004, “Combining Usage, Content and Structure Data to Improve Web Site Recommendation”, 5th International Conference on Electronic Commerce and Web Technologies, 3182, Springer Berlin, Heidelberg, pp. 305-315.

[36] Lekakos, G., Caravelas, P., 2008, “A hybrid Approach for Movie Recommendation”, Multimedia Tools and Applications, vol. 36, no. 1-2, pp. 55-70.

[37] Mobasher, B., 2007, “Data Mining for Web Personalization”, The Adaptive Web:

Methods and Strategies of Web Personalization, Springer-Verlag, Berlin Heidelberg, and LNCS 4321, pp. 90-135.

[38] Mobasher, B., Dai H., Luo T. and Nakagawa M., 2001,“Effective Personalization Based On Association Rule Discovery From Web Usage Data”, Proc. of the 3rd International Workshop on Web Information and Data Management, ACM Press, Atlanta, GA, USA, pp. 9–15.

[39] Murat G., Sule G, 2010, “Combination of Web page recommender systems”, Elsevier, Expert Systems with applications, vol. 37, no. 4, pp. 2911-2922.

[40] Mobasher, B., 2004, “Web Usage Mining and Personalization”, Practical Handbook of Internet Computing, Chapman Hall and CRC Press. Chapter 12: pp. 449-471.

[41] Nasraoui, O., Soliman, M., Saka, E. Badia, A., R., 2008, "A Web Usage Mining Framework for Mining Evolving User Profiles in Dynamic Websites",  IEEE Transactions on Knowledge and Data Engineering (TKDE), vol. 20, no. 2, pp. 202-215.

[42] Pierrakos, D., Paliouras, G., Papatheodorou, CH., Spyropolous, C., 2003, “Web Usage Mining as a Tool for Personalization: a survey”, user modeling and user-adapted interaction13, pp: 311-372.

[43] Pei, J., han, J., Mortazayi-asl, B., Zhu, H., 2000, “Mining Access Patterns Efficiently from Web Logs”, proccedings of the 4th pacific-Asia conference on knowledge discovery & data mining. Pp: 396-407.

[44] Resnick, P., Varian, H.R., 1997, “Recommender Systems”, Communications of the ACM, vol. 40, no. 3, pp. 56-58.

[45] Sugiyama K., Hatano K., Yoshikawa M., 2004, “Adaptive Web Search Based on User Profile Constructed without Any Effort from Users”, ACM 1-58113-844-X, Proceedings of the 13th international conference on World Wide Web, pp 675 – 684.

[46] Sirvastava, J., Cooley, R., Deshpande, M., tan, P., 2000, “Web Usage Mining: Discovery and Applications of Usage Patterns from Web Data”, SIGKDD explorations, volume 1, issue 2, pp. 12- 23.

[47] Sumathi, P., Maheswari, B., “A New Clustering and Preprocessing for Web Log Mining”, 2014, World Congress on Computing and Communication Technologies (WCCCT), DOI. 10.1109/WCCCT.2014.67, pp.25 – 29.

[48]Valera, M., chauhan, U., 2013, “An Efficient Web Recommender System Based on Approach of Mining Frequent Sequential Pattern from Customized Web Log Preprocessing”, Forth International conference On Computing, Communications and Networking Technologies (ICCCNT), DOI. 10.1109/ICCCNT.2013.6726493, pp. 1- 6.

[49] Webb A. R., 2002, “Statistical Pattern Recognition”, Second Edition, John Wiley and Sons publisher, Chapter 1: p. 5-25, Chapter 10: p. 361-370.

[50] Xu R., 2005, “Survey of Clustering Algorithms”, IEEE Transactions on Neural Network, vol. 16, no. 3, pp. 645–678.

[51] Zhan, S., Gao, F., Xing, C., Zhou, L., 2006, “Addressing Concept Drift Problem in Collaborative”, Proc. of the ECAI, Workshop on Recommender Systems in conjunction with the 17th European Conference on Artificial Intelligence Riva del Garda, Italy, pp. 34-39.

[52] Zhong, J., and Li, X., 2010, “Unified Collaborative Filtering Model Based on Combination of Latent Features”, Expert Systems with Applications, vol. 37, pp. 5666-5672.

[53] Zhu, T., Greiner, R., Haeubl, G., 2005, “An effective complete-web recommender system”, Proc. of the Twelfth International World Wide Web Conference (WWW’03), Budapest, Springer Berlin / Heidelberg, vol. 3169/2005, pp. 241-254.

 [54] ita.ee.lbl.gov/html/contrib./NASA-HTTP.html, accses time: 10/Jul/2014