پایان نامه تشخیص حالات ظریف چهره با استفاده از روش بزرگنمایی حرکت اولر

فهرست:

فهرست علایم.................................................................................................................................................................................. س

فهرست جدول‌ها ک

فهرست شکل‌ها.. ل

فصل اول: مقدمه   1

1-1 پیشگفتار............................. 2

1-2 بیان مسئله‌ی تشخیص تغییر در تصویر............................. 3

1-3 بیان مسئله‌ی تشخیص حالات احساسی چهره............................. 4

1-4 هدف از این الگو و دستورالعمل.. 5

فصل دوم: توضیح سیستم تشخیص حالات احساسی چهره. 7

2-1عوامل مؤثر بر تشخیص حالت احساسی چهره....... 8

2-2 تقسیم سیستم‌های تحلیل حالت‌های چهره....... 10

2-3متدولوژی تشخیص حالات احساسی....... 10

2-4 تشخیص چهره و عملیات پیش پردازش....... 12

2-5 استخراج ویژگی‌های احساسی....... 12

2-5-1روش‌های مبتنی بر ویژگی هندسی....... 12

2-5-2روش‌های مبتنی بر ظاهر....... 13

2-6 کلاسه بندی احساسات....... 15

2-6-1روش‌های مبتنی بر داوری....... 16

2-6-2روش‌های مبتنی بر علامت....... 16

 فصل سوم: روش‌ها و پیشینه تحقیقات تشخیص حالات احساسی چهره............. 17

3-1ویژگی‌های چهره............. 18

3-2 تحلیل حالت‌های چهره....... 19

3-3 مدل‌های تشخیص حالات احساسی چهره....... 20

3-4مروری بر تحقیقات گذشته....... 24

3-4-1 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس واحدهای حرکتی در سیستم FACS 24

3-4-2 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس جریان نوری 28

3-4-3 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس چهره‌های ویژه و PCA 31

3-4-4 مروری بر پیشینه تشخیص حالات احساسی چهره بر اساس FCP. 32

3-4-5 مروری بر پیشینه تشخیص حالات احساسی چهره با استفاده از روش‌های مختلف دیگر. 32

3-4-6 مروری بر پیشینه تشخیص حالت چهره سه بعدی.. 34

3-4-7 مروری بر پیشینه حالات احساسی ظریف چهره............................................................................................................ 36

3-5 پایگاه داده‌ها............................................................................................................................ 41

3-5-1 پایگاه داده Cohn-Kanade............................................................................................................................ 42

3-5-2 پایگاه داده AR............................................................................................................................ 43

3-5-3 پایگاه داده بیان احساسات MMI 43

3-5-4 پایگاه داده احساس غیر ارادی............................................................................................................................ 44

3-5-5 پایگاه داده بیان احساسات زنان ژاپنی(JAFFE ) 44

3-5-6 پایگاه داده تشخیص احساس و ژست FG_Net 45

3-5-7 پایگاه داده احساس چهره CMU AMP. 45

3-5-8 پایگاه داده سه بعدی حالات چهره 45

3-5-9 پایگاه داده احساسات ظریف غیر ارادی (SMIC) 47

فصل چهارم: تشخیص حالات احساسی چهره به روش چهره ویژه. 48

4-1 چهره‌های ویژه................. 49

4-2 کلیات سیستم تشخیص چهره براساس چهره‌های ویژه....... 50

4-3 محاسبه چهره‌های ویژه....... 52

4-4 کاهش بعد در روش‌های مبتنی بر ظاهر. 52

4-5 تحلیل مؤلفه‌های اصلی.................... 53

4-6 محاسبه مقادیر و بردارهای ویژه در روش چهره‌های ویژه 54

 فصل پنجم: بزرگنمایی ویدئویی اولر برای بازیابی تغییرات ظریف در جهان....... 56

5-1 بزرگنمایی ویدئویی اولر....... 57

5-2 تحلیل چند مقیاسی....... 64

5-3 مبحث حساسیت به نویز....... 68

5-4 مقایسه روش بزرگنمایی ویدئویی اولر در مقابل روش لاگرانژى ....... 70

5-5 محاسبه خطا در روش بزرگنمایی ویدئویی اولر و روش لاگرانژى.. 70

5-5-1 محاسبه خطا در روش بزرگنمایی ویدئویی اولر و روش لاگرانژى در حالت بدون نویز. 70

5-5-2 محاسبه خطا در روش بزرگنمایی ویدئویی اولر و روش لاگرانژى در حالت با نویز. 72

5-6 نتیجه گیری نهایی ........ 73

 فصل ششم: روش پیشنهادی ........ 74

6-1 نمای کلی از پژوهش....... 75

6-2 استفاده از چهره‌های ویژه در تشخیص حالات احساسی....... 75

6-3 تشخیص حالات ظریف احساسی با به کار گیری روش بزرگنمایی ویدئویی اولر و  روش چهره‌های ویژه 76

6-3-1 بررسی تشخیص تغییر در چهره  به هنگام بروز حالات احساسی ظریف... 79

6-3-2 بررسی تشخیص حالات احساسی ظریف چهره (تنها یک حالت مثبت و منفی از هر شخص)....................... 86

6-3-3 بررسی تشخیص حالات احساسی ظریف چهره (چندین حالت مثبت و منفی از هر شخص)................... 88

6-4 جمع‌بندی .................... 90

مراجع........................ .. 92

مراجع لاتین....... 92

مراجع فارسی............ 102

چکیده انگلیسی............ 103

منبع:

مراجع لاتین

 Khatri, N., Shah, H., Patel, A., Facial Expression Recognition  A Survey, (IJCSIT) International Journal of Computer Science and Information Technologies, vol. 5, No.1, pp.149-152, 2014.

Chibelushi, C., Bourel, F., Facial Expression Recognition  A Brief Tutorial Overview, Staffordshire University, On-Line Compendium of Computer Vision, vol. 9, 2003.

Tian,Y., Kanade, T. and Cohn, J. F., Handbook of Face Recognition, chapter 11. Facial Expression. Analysis, Springer, New York, NY, USA, 2005.

Tian,Y. l., . Kanade, T., and Cohn, J. F., Evaluation of Gabor-Wavelet-Based Facial Action Unit Recognition in Image Sequences of Increasing Complexity, in Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, Washington, DC, USA, pp. 229-234, 2002.

Ekman, P., Friesen, W.V., Facial Action Coding System (FACS). Palo Alto, Consulting Psychologists Press. 1978.

Martinez, A., Du, S., A Model of the Perception of Facial Expressions of Emotion by Humans  Research Overview and Perspectives, Journal of Machine Learning Research, Vol.13, No.1, pp.1589-1608, 2012.

Pfister, T., Li, X., Huang, X., Zhao, G., Pietikäinen, M., Recognising Spontaneous Facial Micro-expressions, IEEE Conference on Computer Vision (ICCV), Barcelona, pp. 1449 - 1456, 2011.

Li, X., Pfister, T., Huang, X., Zhao, G., Pietikäinen, M., A Spontaneous Micro-expression Database  Inducement, Collection and Baseline, 10th IEEE International Conference And Workshops On Automatic Face and Gesture Recognition (FG), Shanghai, pp.1-6, 2013.

Nidhi N. Khatri, Zankhana H. Shah, Samip A. Patel, Facial Expression Recognition  A Survey, (IJCSIT) International Journal of Computer Science and Information Technologies, Vol. 5, No.1, pp.149-152, 2014.

Bettadapura, V., Face Expression Recognition and Analysis  The State of the Art, Computer Vision and Pattern Recognition, pp.10-15, 2012.

Fernandes, S. L., Josemin Bala, Dr. G., A Comparative Study On ICA And LPP Based Face Recognition Under Varying Illuminations And Facial Expressions, International Conference on Signal Processing Image Processing & Pattern Recognition (ICSIPR), pp.122-126, 2013.

Zhang, S., Zhao, X., Lei, B., Facial Expression Recognition Based on Local Binary Patterns and Local Fisher Discriminant Analysis, Wseas Transactions On Signal Processing, Vol. 8, No. 1, pp.21-31, 2012.

Hong, J.W., Song, K., Facial Expression Recognition Under Illumination Variation, IEEE Workshop on Advanced Robotics and Its Social Impacts, pp.1-7, 2007.

Mistry, J., Mahesh, Goyani, M. M., A literature survey on Facial Expression Recognition using Global Features, International Journal of Engineering and Advanced Technology (IJEAT), Vol.2, No.4, pp.653-657, 2013.

Eisert, P., Girod, B., Analyzing Facial Expressions for Virtual Conferencing, IEEE Computer Graphics & Applications, Vol.18, No.5, pp. 70-78,1998.

Zhang, Z., Feature-Based Facial Expression Recognition  Sensitivity Analysis and ExperimentsWith a Multi-Layer Perceptron, International Journal of pattern Recognition and Artificial Intelligence, Vol.13, No.6, pp.893-911, 1999.

Steffens, J., Elagin, E., Neven, H., PersonSpotter-fast and robust system forhuman detection, trackingand recognition, 3rd IEEE International Conference on Automatic Face and Gesture Recognition, pp. 516-521, 1998.

Sinha, P., Perceiving and Recognizing Three-Dimensional Forms, Ph.D. dissertation, M. I. T., Cambridge, MA, 1995.

Anderson, K., McOwan, P.W., Robust real-time face tracker for use in cluttered environments, Computer Vision and Image Understanding, Published by Elsevier, Vol. 95, No.2, pp.184–200, 2004.

Li, H., Roivainen, P., Forchheimer, R., 3-d motion estimation in modelbased facial image coding. IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.15, No.6, pp.545–555, 1993.

Terzopoulus, D., Waters, K., Analysis and synthesis of facial image sequences using physical and anatomical models, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.15, No.6, pp.569–579, 1993.

Essa, I., Analysis, Interpretation, and Synthesis of Facial Expressions. PhD thesis, Massachusetts Institute of Technology,MIT Media Laboratory, Cambridge,MA 02139, USA, 1994.

Chang, J. Y., Chen, J. L., Automated Facial Expression Recognition System Using Neural Networks, Journal of the Chinese Institute of Engineers, Vol. 24, No. 3, pp. 345-356, 2001.

Mase, K., Recognition of facial expressions for optical flow. IEICE Transactions, Special Issue on Computer Vision and its Applications, Vol.74, No.10, 1991.

Yacoob, Y. and Davis, L., Computing Spatio-Temporal Representation of Human Faces, IEEE Computer Society Conference on Computer Vision and Pattern Recognition,pp. 70-75,1994.

Yacoob, Y., Davis, L. S., Recognizing human facial expressions from long image sequences using optical flow. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.18, No.6, pp.636–642, 1996.

Black, M.j., Yacoob, Y., Recognizing Facial Expressions in Image Sequences Using Local Parameterized Model of Image Motion, International Journal of Computer Vision, Vol.25, No.1, pp.23–48, 1997.

Rosenblum, M., Yacoob, Y. and Davis, L.,Human Expression Recognition from Motion using a Radial Basis Function Network Architecture, IEEE Transactions on Neural Networks,Vol.7, No.5, pp.1121-1138,1996.

Lien, J. J., Kanade, T., Cohn, J. F., and Li, C. C., A multi-method approach for discriminating between similar facial expressions, including expression intensity information, roceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR '98), 1998.

Cohn, J. F., Zlochower, A. J., Lien, J. J., Wu, Y. T., and Kanade, T., Automated face coding  Acomputer-vision based method of facial expression analysis, Psychophysiology, vol. 35, pp. 35–43, 1999.

Tian, Y.L., Kanade. T., and Cohn, J.F, Recognizing action units for facial expression analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.23, No.2, pp.97–115, 2001.

Lekshmi, P., Sasikumar, Dr.M., Naveen, S., Analysis of Facial Expressions from Video Images using PCA, Proceedings of the World Congress on Engineering (WCE), London, U.K., Vol.1, 2008.

Murthy, G. R. S., Jadon, R.S., Effectiveness of Eigenspaces for Facial Expressions Recognition, International Journal of Computer Theory and Engineering, Vol. 1, No. 5, pp. 1793-8201, 2009.

Manal Abdullah, Wazzan, M., Bo-saeed, S., Optimizing Face Recognition Using PCA, International Journal of Artificial Intelligence & Applications (IJAIA), Vol.3, No.2, pp.23-31, 2012.

Ushida, H., Takagi, T. and Yamaguchi, T., Recognition of Facial Expressions using Conceptual Fuzzy Sets, IEEE International Conference on Fuzzy Systems,Vol.1, pp. 594-599, 1993.

Ralescu, A., Iwamoto, H., Recognition of and Reasoning about Facial Exprssions using Fuzzy Logic, IEEE International Workshop on Robot and Human Communication, pp.259-264, 1993.

Kobayashi, H., Hara, F., Real – Time Recognition of Six Basic Facial Expression, IEEE International Workshop on Robot and Human Communication, pp.179- 185, 1995.

Kobayashi, H., Hara, F., Analysis of the Neural Network Recognition Characteristics of 6 Basic Facial Expressions, IEEE International Workshop on Robot and Human Communication, pp. 222-226, 1994.

Matsuno, K., Lee, C. and Tsuji, S., Recognition of human facial expressions without feature extraction, ECCV, Vol.800, pp.513-520, 1994.

Sako, H., Smith, A.V.W., Real-time facial expression recognition based on features' positions and dimensions, Proceedings of the 13th International Conference on Pattern Recognition , vol.3, pp.643-648, 1996.

Ebine, H., Nakamura, O., The Rocognition of Facial Exprossion Based on Fuzzy Expert System, IEEE Canadian Conference on Electrical and Computer Engineering, Vol.2, pp.262- 265,1998.

Hong-Bo, D., Lian-Wen J., Li-Xin Z. and Jian-Cheng H., A New Facial Expression Recognition Method Based on Local Gabor Filter Bank and PCA plus LDA, International Journal of Information Technology, Vol. 11, No. 11, pp.86-96, 2005.

Frank, Y., Chao-Fa, C., Patrick, S. P., Performance Comparisons Of Facial Expression Recognition In Jaffe Database, International Journal of Pattern Recognition and Artificial Intelligence,Vol. 22, No. 3, pp. 445–459, 2008.

Neeta, S., Prof. Shalini, B., Facial Expression Recognition, International Journal on Computer Science and Engineering, Vol. 02, No. 05, pp.1552-1557, 2010.

Franco, L.,Treves, A., A Neural Network Facial Expression Recognition System using Unsupervised Local Processing, Proceedings of the 2nd International Symposium on Image and Signal Processing and Analysis, pp. 626-672, 2001.

Wang, J., Yin, L., Wei, X., and Sun, Y., 3D Facial Expression Recognition Based on Primitive Surface Feature Distribution, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol.2, pp.1399-1402, 2006.

Soyel, H., Demirel, H., 3D Facial Expression Recognition with Geometrically Localized Facial Features, 23rd International Symposium on Computer and Information Sciences. pp.1-4, 2008.

Tang, H., Huang, T. S., 3D facial expression recognition based on automatically selected features, IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, pp.1-8, 2008.

Kullback, S., The Kullback-Leibler distance, The American Statistician 41 340-341, 1987.

Tang, H., Huang, T., 3D Facial Expression Recognition Based on Properties of Line Segments Connecting Facial Feature Points, 8th IEEE International Conference on Automatic Face & Gesture Recognition, pp.1–6, 2008.

Hu, Y., Zeng, Z., Yin, L., Wei, X., Tu, J., and Huang, T.S., A Study of Non-frontal-view Facial Expressions Recognition, 19th International Conference on Pattern Recognition, pp.1-4, 2008.

Moore, S., Bowden, R., The effects of Pose on Facial Expression Recognition, Centre for Vision Speech and Signal Processing University of Surrey Guildford, UK, 2009.

Gottman, J., Levenson, R., A two-factor model for predicting when a couple will divorce  Exploratory analyses using 14-year longitudinal data. Family process, Vol.41, No.1, pp.83–96, 2002.

Ekman, P., Lie catching and microexpressions. The Philosophy of Deception, Oxford University Press, pp.118-133, 2009.

Polikovsky, S., Kameda, Y., Ohta, Y., Facial microexpressions recognition using high speed camera and 3Dgradient descriptor. 3rd International Conference on Crime Detection and Prevention, London, pp. 1-6, 3Dec. 2009.

Sungsoo, P., Daijin, K., Subtle Facial Expression Recognition using Motion Magnification, Elsevier, Pattern Recognition Letters, Vol.30, No.7, pp.708-716, 2009.

Michael, N., Dilsizian, M., Metaxas, D., Burgoon, J.,  Motion profiles for deception detection using visual cues. 11th International Conference nn Computer vision, Greece, pp. 462–475, 2010.

Shreve, M., Godavarthy, S., Goldgof, D. , Sarkar, S., Macroand micro-expression spotting in long videos using spatiotemporal strain,  IEEE International Conference on  Automatic Face & Gesture Recognition and Workshops (FG), Santa Barbara, CA, pp.51-56, 2011.

Wang, S., Yan, W., Li, X., Zhao, G., Fu, X., Micro-expression Recognition Using Dynamic Textures on Tensor Independent Color Space, 22nd International Conference Pattern Recognition (ICPR) Stockolm, 2014.

Yao, S., He, N., Zhang, H., Yoshie, O., Micro-Expression Recognition by Feature Points Tracking, 10th International Conference on Communications, Bucharest, pp.1-4, 2014.

Tayal, Y., Pandey, P. K., Singh, D. B. V., Face Recognition using Eigenface,  International Journal of Emerging Technologies in Computational and Applied Sciences (IJETCAS), Vol.3, No.1, pp.50-53, 2013.

Kanade, T., Cohn, J., Tian, Y., Comprehensive Database for Facial Expression Analysis, IEEE International Conference on Automatic Face and Gesture Recognition, pp. 46-53, 2000.

Martinez, A.M., Benavente, R., The AR Face Database, CVC Technical Report #24, 1998.

Shan, C.,Gong,S., McOwan, P. W., Facial expression recognition based on Local Binary Patterns A comprehensive study, Image and Vision Computing, Elsevier, pp.803–816, 2009.

Sebe, N., Lew, M.S., Sun, Y., Cohen, I., Gevers, T., Huang, T.S., Authentic Facial Expression Analysis, Journal Image and Vision Computing, ACM, vol. 25, No.12, pp. 1856-1863, 2007.

Pantic, M., Valstar, M.F., Rademaker, R., Maat, L., Web-Based Database for Facial Expression Analysis, IEEE International Conference on Multimedia and Expo, pp. 317-321, 2005.

Lyons, M.J., Akamatsu, S., Kamachi, M., Gyoba, J., Coding Facial Expressions with Gabor Wavelets, 3rd IEEE International Conference on Automatic Face and Gesture Recognition, pp. 200-205, Japan, April 1998.

Yin, L., Wei, X., Sun, Y., Wang, J., Rosato, M., A 3d facial expression database for facial behavior research, 7th International Conference on Automatic Face and Gesture Recognition, Southampton, pp.211-216, 2006.

Kirby, M., Sirovich, L., Application of the Karhunen-Loeve procedure for the characterization of human faces, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, No.1, pp. 103-108, 1990.

Sirovich, L., Kirby, M., Low-dimensional procedure for the characterization of human faces, J. Opt. Soc. Am. A, Vol.4, No.3, pp. 519-524, 1987.

Turk, M., Pentland, A., Eigenfaces for recognition, Journal of Cognitive Neuroscience, Vol. 3, No.1, pp. 71-86, 1991.

Wang, J., Drucker, S. M., Agrawala, M., Cohen, M. F.و The cartoon animation filter. Journal ACM Transactions on Graphics (TOG), Vol.25, No.3, pp.1169–1173, 2006.

Poh, M.-Z., Mcduff, D. J., Picard, R. W., Non-contact, automated cardiac pulse measurements using video imaging and blind source separation. OPTICS EXPRESS 10763, Vol.18, No.10, pp.10762–10774, 2010.

Fuchs, M., Chen, T., Wang, O., Raskar, R., Seidel, H.-P., and Lensch, H. P., Real-time temporal shaping of highspeed video streams. Computers & Graphics, Elsevier, Vol.34, No.5, pp.575–584, 2010.

Burt, P., Adelson, E., The laplacian pyramid as a compact image code. IEEE Transactions on Communications, Vol.31, No.4, pp.532–540, 1983.

Wu, H., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman,W., Eulerian Video Magnification for Revealing Subtle Changes in the World, Journal ACM Transactions on Graphics (TOG), Vol.31, No.4, 2012.

Rubinstein, M., Analysis and Visualization of Temporal Variations in Video, PHD Thesis, Electrical Engineering and Computer Science at the Massachusetts Institute of Technology, pp.51-73, 2014.

Murthy, G.R.S., Jadon, R.S., Recognizing Facial Expressions using Eigenspaces, International Conference on Computational Intelligence and Multimedia Applications, Vol.3, pp.202-204, 2007.

Frank, C., Noth, E., Automatic Pixel Selection for Optimizing Facial Expression Recognition using Eigenfaces, Springer-Verlag, Pattern Recognition,Vol.2781, pp. 378–385,2003.

مراجع فارسی

گونزالس، رافائل سی، وودز، ریچاردای، پردازش تصویر دیجیتال، ترجمه جعفر نژاد قمی، عین الله، انتشارات بابل، علوم رایانه، ویراست سوم، صفحات 13-11، 1387.

افروزیان، رضا،تشخیص حالت‌های چهره از روی تصاویر متحرک، پایان نامه کارشناسی ارشد مهندسی برق، 1389

کبیریان دهکردی،ب.، تشخیص حالت چهره با دقت بهینه در دنباله تصاویر ویدئویی،پایان نامه کارشناسی ارشد مهندسی برق-الکترونیک، دانشگاه تربیت معلم سبزه وار، تیرماه 1389

نبی زاده، ن.، تشخیص احساس شادی وغم از طریق بررسی تصاویر دو بعدی چهره، پایان نامه دوره کارشناسی ارشد مهندسی برق-الکترونیک، دانشگاه صنعتی شاهرود، تیرماه1388

خادمی، م.، تشخیص حالت چهره با استفاده از محاسبات نرم، پایان نامه دوره کارشناسی ارشد مهندسی کامپیوتر گرایش معماری، دانشگاه صنعتی شریف، صفحات 11-9، تیرماه 1388