پایان نامه بهبود هوشمندانه انتخاب سوال بر پایه سطح دانش آزمون دهنده در آزمون انطباقی کامپیوتری

پایان نامه کارشناسی ارشد مهندسی فناوری اطلاعات گرایش مدیریت سیستم­ های اطلاعاتی 

چکیده

آزمون انطباقی کامپیوتری یک روش رو به رشد ارزیابی در بسیاری از موسسات آموزشی و همچنین غیر آموزشی در سراسر جهان است.  ویژگی متمایزکننده آزمون انطباقی کامپیوتری اجرای آزمون متناسب با توانایی آزمون­دهنده بر اساس پاسخ سوالات قبلی می­باشد.  از این رو، می­توان آزمون کوتاه­تر را اجرا و در عین حال تخمین دقیق­تری از توانایی آزمون­دهنده به دست آورد.  روش­های مختلفی برای ایجاد آزمون انطباقی کامپیوتری بر اساس نظریه سوال پاسخ ارائه شده است.  هدف این پایان نامه بهبود روش انتخاب سوال در آزمون انطباقی کامپیوتری بر اساس نظریه سوال پاسخ با توجه به سطح دانش آزمون­دهنده می­باشد.  در این پایان نامه علاوه بر پارامترهای سوال که در نظریه سوال پاسخ مطرح شده است، ساختاری برای سوالات پیشنهاد شده است که بر اساس آن می­توان روش انتخاب سوال را بهبود بخشید، علاوه بر این طول آزمون کوتاه­تر خواهد شد.  همچنین می­توان مبحثی که آزمون­دهنده در آن ضعیف می­باشد را شناسایی و بر اساس آن رویکردی مناسب آزمون­دهنده پیشنهاد داد.  یعنی اگر آزمون­دهنده­ای در مبحثی ضعیف بود، معلم می­تواند تصمیمی متناسب با سطح آزمون­دهنده اتخاذ کند. 

در انتخاب سوال، موضوع دیگری که مطرح است محاسبه سطح توانایی آزمون­دهنده است، چون بر اساس سطح او، سوال مناسب برای او انتخاب می­شود.  روش­های مختلفی برای محاسبه و تخمین سطح آزمون­دهنده وجود دارد، در این پایان نامه از شبکه­های عصبی برای تحمین سطح دانش استفاده شده است.  سه مدل شبکه عصبی در اینجا مطرح شده است، مدل اول شبکه عصبی هرس جامع است که شبکه­ای دقیق ولی با طول زمان آموزش بالاست، مدل­های دیگر، شبکه عصبی پرسپترون چند لایه و مدل شبکه عصبی تابع پایه شعاعی است. 

 واژگان کلیدی: سنجش کامپیوتری ، آزمون های مبتنی بر کامپیوتر ، آزمون انطباقی کامپیوتری، نظریه سوال پاسخ، شبکه بیزین، شبکه عصبی. 

1-    فصل اول : مقدمه

آزمون یکی از رایج­ترین راه­های آزمایش دانش است.   هدف اصلی از آزمایش به منظور تعیین سطح دانش آزمون­دهنده از یک یا چند موضوع که در آن زمینه­ی دانش انتخاب شده باشد، است.  امروزه از روش­های مختلفی نظیر ارائه مطلب در کلاس ، نوشتن مقالات، پروژه­ها، و غیره برای ارزیابی دانش استفاده می­شود.  با این حال، رایج­ترین ابزار برای سنجش دانش، آزمون و امتحان شفاهی است.   از آنجا که در دهه­های اخیر کامپیوتر به عنوان بیشترین ابزار آموزش مورد استفاده بوده است، و از آنجایی که استفاده از آن در همه سطوح آموزش و پرورش رایج شده است، آزمون مبتنی بر کامپیوتر بسیار مورد پسند است. 

امروزه از انواع روش­ های آزمونی که در دسترس می­باشد، «آزمون انطباقی کامپیوتری» تعادلی حداکثری از دقت و کارایی را ​​فراهم می کند.   در طول چند دهه گذشته، «آزمون انطباقی کامپیوتری» در زمینه­های آموزش­، صدور گواهینامه و پروانه، بطورگسترده استفاده شده است.   «آزمون انطباقی کامپیوتری» براساس پاسخ آزمودنی به سوالات پیشین، به صورت پیشرونده­ای، سوالاتی را انتخاب می­کند که دقت آزمون را افزایش دهد.  از نظر آزمودنی به نظر می­رسد که دشواری سوال با سطح توانایی او انطباق پیدا می­کند.  به عنوان مثال، اگر آزمودنی در پاسخ به سوالی با دشواری متوسط خوب عمل کند به او سوالی ارائه می­شود که دشواری بیشتری دارد و یا اگر در پاسخ به سوال با دشواری متوسط عمل کند سوال ساده­تری ارائه می­شود.  در آزمون­های انطباقی کامپیوتری، در مقایسه با آزمون­های چند گزینه­ای ثابت که مجموعه ثابتی از سوالات به آزمودنی ارائه می­شود، به تعداد سوالات کمتری نیاز دارد تا بتواند به همان نتایج دقیق دست پیدا کند.  البته هیچ محدودیتی وجود ندارد که در روش شناسی «آزمون انطباقی کامپیوتری» الزاماً از سوالات چند گزینه‌ای استفاده شود اما از آنجایی که اکثر سوالات چندگزینه‌ای هستند، در بیشتر آزمون­های انطباقی کامپیوتری  نیز از این نوع سوالات استفاده می‌شود. 

«آزمون انطباقی کامپیوتری» از اجرای سوالات نامربوط اجتناب می­کند.  مانند سوال­هایی که برای آزمودنی خیلی آسان و یا خیلی سخت هستند و رفتارهایی نامناسب مثل حدس زدن، بی توجهی، و الگوهایی که پاسخ دادن را تحریک می­کنند.  این سوالات تا حد خیلی زیادی حذف می شوند.  زمانی که سوالات به گونه ای ارائه شوند که با سطح توانایی آزمودنی منطبق نباشد و سطح چالش سوال (درجه دشواری) بالا باشد آزمون­دهنده مضطرب خواهد شد و اگر پایین باشد دچار بی علاقگی خواهد شد.  تنها در صورتی فرد تجربه آزمون مناسب را تجربه خواهد کرد که دشواری سوال با سطح توانایی­اش منطبق باشد که آزمون­های انطباقی این ویژگی را دارند. 

1 - 1 اهداف تحقیق و تبیین صورت مسئله

در این پایان­نامه نحوه انتخاب سوال بعدی برای آزمون­دهنده را با توجه به اینکه بیشترین نزدیکی به سطح دانش او داشته باشد را بهبود داده شده است.  برای انتخاب سوال سه تابع برای آن تعریف شده است :

انتخاب سوال بر اساس موضوع درس

انتخاب سوال بر اساس نظریه سوال پاسخ

انتخاب سوال بر اساس تاریخچه سوال­ها پاسخ داده شده

در تابع اول سوالاتی که به موضوع مورد نظر مربوط است انتخاب می­شوند.  سپس در تابع با استفاده از نظریه سوال پاسخ و بهبود روش­های محاسبه احتمال پاسخگویی آزمون­دهنده به سوال، سوالاتی که بیشترین احتمال را دارند که آزمون دهنده آن­ها را پاسخ دهد انتخاب می­شوند.  بعد از آنکه سوالات در تابع دوم انتخاب شدند، بر اساس سابقه سوالات، از بین آن­ها یک سوال انتخاب و از آزموندهنده  پرسیده می­شود.   بهبود فرآیند انتخاب سوال در تابع اول و دوم در این پایان­نامه مورد نظر است.  در واقع سوالاتی انتخاب خواهد شد که برای آزمون­دهنده  از نظر سنجش دانش او، بهترین هستند. 

در این پایان­نامه، ساختار آزمون انطباقی کامپیوتری شرح داده خواهد شد که با ترکیب روش­های استفاده شده توسط دیگران و تغییری در پیاده­سازی آن­ها ساخته می­شود، پارامترهای مطرح شده در نظریه سوال پاسخ برای انتخاب سوال کافی نمی­باشد و نیاز به ویژگی­های دیگری در این تابع است، به همین منظور ساختار سوال را با استفاده از موضوع، مبحث و مفهوم ایجاد کرده و سوالات با این دسته­بندی از بانک سوالات انتخاب می­شوند و در صورتی که آزمون­دهنده در مفهومی قوی بود، می­توان آن مفهوم را کنار گذاشته و به مفهوم دیگری مراجعه کرد. 

مسئله مهم دیگری که در انتخاب سوالات آزمون انطباقی کامپیوتری باید به آن توجه کرد، برآورد و تخمین سطح دانش آزمون­دهنده است.  روش­های مختلفی برای این برآورد وجود دارد که می­توان به اطلاعات فیشر، روش نیوتن-رافستر ، شبکه­های بیزین و شبکه عصبی اشاره نمود.  در این پایان نامه این برآورد با استفاده از سه مدل شبکه عصبی که عبارتند از شبکه عصبی هرس جامع، شبکه عصبی پرسپترون چند لایه و شبکه عصبی تابع پایه شعاعی.  در این پایان نامه، این سه مدل شبکه عصبی را پیاده­سازی و با استفاده از نتایج بدست آمده مقایسه خواهند شد. 

این پایان نامه بدین صورت سازماندهی شده است.  در فصل دوم در مورد آزمون انطباقی کامپیوتری بحث خواهد شد و در فصل سوم مباحث مرتبط با آزمون انطباقی کامپیوتری که شامل نظریه سوال پاسخ، شبکه­های بیزین و کاربرد آن در آزمون انطباقی کامپیوتری و در آخر شبکه­های عصبی، بحث خواهد شد.  در فصل چهارم روش پیشنهاد شده شرح داده خواهد شد و در فصل پنجم در مورد پیاده­سازی روش پیشنهادی صحبت می­شود.  در فصل ششم، مقایسات و نتیجه­گیری­ها و کارهای آینده صحبت خواهد شد. 

2-    فصل دوم : آزمون انطباقی کامپیوتری

2 - 1 مقدمه

«آزمون انطباقی کامپیوتری» توسط لرد (1971) ، اوون (1975)، و وایس (1976)، در میان دیگران، برای اندازه­گیری سطح توانایی آزمون­دهنده­ها با دقت بیشتر از آزمون­های معمولی و با ساخت یک آزمون فردی برای هر آزمون­دهنده، پیشنهاد شد [1]. 

«آزمون انطباقی کامپیوتری» از نوع آزمون توسعه یافته برای افزایش بهره­وری برآورد دانش آزمون­دهنده است.  هدف اصلی «آزمون انطباقی کامپیوتری»، بهینه کردن فرآیند یادگیری آزمون­دهنده است [2].  که برآورد را با انتخاب سوال­ها برای آزمون­دهنده بر اساس پاسخ­های خود (بنابراین اغلب به آن، آزمون مناسب[1] گفته می­شود) در طول مدت آزمون قبلی به دست آورد.  درجه دشواری سوال بعدی به طوری انتخاب می شود که برای آزمون­دهنده نه خیلی سخت باشد و نه خیلی آسان.   بطور دقیقتر، سوال طوری انتخاب می شود که آزمون­دهنده با احتمال 50 درصد سوال را به درستی پاسخ دهد.  البته، سوال اول نمی­تواند از این راه تعیین شود چرا که در این نقطه هیچ چیز شناخته شده­ای در مورد قابلیت­های امتحان بدست نیامده است (سوال با دشواری متوسط ​​انتخاب می­شود)، اما انتخاب از سوال دوم به بعد را می­توان برای هر آزمون­دهنده با سازگاری بهتر انتخاب نمود.  با هر پاسخ به سوال ، کامپیوتر به طور بهتری می­تواند ارزیابی دانش آزمونگر را انجام دهد. 

2 - 2 انواع سنجش انطباقی

2 - 2 - 1 نظریه رایت و داگلاس [3]

 رایت و داگلاس (1975) سنجش انطباقی را که در آن سوال­ها بر اساس سطح دشواری الگوی منطقی راش مقیاس بندی شده بودند پیشنهاد کردند.  آنها در این روش به آزمودنی اجازه می­دهند سوالاتی را که می خواهند پاسخ دهد، خود انتخاب کند.  به آزمودنی آزمونی ارائه می­شود که در آن سوالات بر اساس افزایش درجات دشواری مرتب شده­اند و به او گفته می­شود که کار خود را با پاسخ دادن به سوال­هایی دشوارتر و آسان­تر ادامه دهد.  نمره آزمودنی برابر است با تعداد سوال­هایی که او درست پاسخ داده است، به اضافه تعداد سوال­هایی که از نظر او ساده بوده و ارزش پاسخ دادن را نداشته­اند. 

2 - 2 - 2 سنجش دو مرحله ای [4]

نوع دیگر سنجش انطباقی، سنجش دو مرحله­ای است.  نمره آزمودنی در یک آزمون (معمولاً یک آزمون کوتاه جایگزین یک آزمون کوتاه معمولی) تعیین می­کند که کدام سطح از آزمون دو مرحله­ای باید پذیرفته شود.  در برخی از موارد، در آزمون جایگزین، نمره آزمودنی فقط برای ارزشیابی دومین مرحله آزمون به کار برده می­شود؛ نه به عنوان بخشی از برآورد نمره واقعی یا مقدار ویژگی آزمودنی.  روش لرد (1969)بدین گونه است که اجرای آزمون عادی، با برآورد حاصل از اجرای دومین مرحله ترکیب می­شود.  لرد با استفاده از مطالعه شبیه­سازی، اطلاعات توابع ترکیب­های مختلف طرح­های آزمون عادی و دومین مرحله را مورد بررسی قرار داده است.  روش سنجش دو مرحله­ای در برآورد ویژگی های افراطی بر سنجش تک مرحله­ای مرسوم برتری دارد، اما برای برآورد ویژگی­هایی که در حد متوسط قرار دارند، مفید نیستند. 

2 - 2 - 3 بر اساس کامپیوتر

 یک روش پیچیده­تر سنجش انطباقی استفاده از کامپیوتر در انتخاب سوال، ضمن پاسخگویی آزمودنی به هر سوال است (سنجش به کمک کامپیوتر).  زمانی که آزمودنی به سوال پاسخ درست می­دهد، بر اساس فرمول خاصی سوال مشکل­تری به او ارائه می­شود.  چنانچه به سوال پاسخ غلط داده شود سوال اسانتری پیشنهاد می گردد.  انتخاب سطح دشواری سوال­های متوالی بر اساس عملکرد آزمودنی در هر مرحله صورت می گیرد.  دشواری سوال i+1، به نحوی انتخاب می­شود که اندازه مرحله نامیده می­شود.  اندازه مرحله تفاوت بین دو درجه دشواری سوال است.  در برخی از روش­ها، کاهش طول مرحله از اندازه های مرحله بزرگ شروع می­شود و به تدریج اندازه مرحله کاهش می­یابد و این روند ادامه می­یابد تا موقعی که سطح دشواری آزمون همتا می­شود.  مثلاً در ابتدا سوالی با درجه دشواری 1 به آزمودنی ارائه می شود وسپس در صورت پاسخ صحیح دادن سوالی با درجه دشواری 1.5 ارائه می­شود(یعنی اندازه مرحله 0.5) می­باشد، سپس سوال بعدی با درجه دشواری 1.9 ارائه می­شود(اندازه مرحله 0.4) دشواری سوال بعدی 2.2 (اندازه مرحله 0.3) و الی آخر.  در اینجا به تدریج اندازه مرحله کمتر شده است اما دقت اندازه­گیری بیشتر شده است.  در آزمون های دیگر، اندازه مرحله ممکن است در کلیه مراحل ثابت نگه داشته شود.  مثلاً ابتدا سوالی با درجه دشواری 1 به آزمودنی ارائه می­شود وسپس در صورت پاسخ صحیح دادن سوالی با درجه دشواری 1.5 ارائه می­شود (یعنی اندازه مرحله 0.5) می­باشد، سپس سوال بعدی با درجه دشواری 2 ارائه می شود (اندازه مرحله 0.5) دشواری سوال بعدی 2.5 (اندازه مرحله 0.5) و الی آخر.  در اینجا به همه سوالات با یک اندازه مرحله 0.5 ارائه می­شوند.  و روش کاهش طول مرحله، برآورد خوبی از ویژگی مورد اندازه گیری به دست می­دهد؛ با وجود این، برای انتخاب سوال­های مورد نظر وجود بانک وسیعی از سوال­ها الزامی است.  مثلاً اگر یک آزمودنی  به  N سوال پاسخ دهد،  سوال لازم است.  برای N=5 در بانک سوال­ها، باید حداقل 32 سوال، و برای N=10 حدود 1024 سوال لازم است.  دستیابی به چنین بانک گسترده ای به ندرت امکان پذیر است.  در صورتی که روش ثابت نگه داشتن اندازه مرحله به کار برده شده دقت برآورد ویژگی برای Nهای همانند، از روش کاهش طول مرحله کمتر است.  برخی از مزایای «آزمون انطباقی کامپیوتری» به شرح زیر است [5].

آزمون به محض درخواست انجام می­شود و نمره بلافاصله در دسترس خواهد بود. 

نه برگه پاسخ تست و نه مدیران آموزش دیده مورد نیاز هستند.  و اشتباهات آزمون­گیرنده نیز در سنجش خطا از بین می­رود. 

آزمونی که به صورت مراحل جداگانه انجام می­شود، آزمون­دهنده لازم نیست برای رفتن به بخش بعد برای دیگران صبر کند تا همه آن بخش را به پایان برسانند و بصورت خودکار نیز زمان بیشتری را برای داوطلبان که به آن نیاز دارند، مدیریت می­کند و به طور بالقوه سبب کاهش یک منبع از اضطراب امتحان می شود. 

امنیت آزمون بالاتر است، چون هرگز نمی­شود جزوات آزمون را کپی نمود. 

آزمون کامپیوتری تعداد بیشتری از گزینه ها را برای زمان بندی و قالب بندی ارائه می دهد.   بنابراین به طور بالقوه طیف وسیع­تری از انواع آیتم قابل استفاده است. 

«آزمون انطباقی کامپیوتری» می تواند موجب کاهش زمان آزمون به بیش از 50 ٪ با حفظ همان سطح از قابلیت اطمینان، شود.  بنابراین زمان کوتاهتر آزمون، خستگی را کاهش داده و میزان قابل توجهی نتایج آزمون آزمون دهنده را نیز تحت تاثیر قرار می­دهد. 

«آزمون انطباقی کامپیوتری» ​​می تواند نمره دقیق بیش از یک طیف گسترده ای از توانائی­ها را فراهم آورد،  در حالی که آزمون­های سنتی معمولا متوسط توانائی آزمون­دهنده­ها را فراهم می­آورد. 

با وجود مزایای فوق ، «آزمون انطباقی کامپیوتری» ​​دارای محدودیت های متعدد  فنی و نظایر آن است.

«آزمون انطباقی کامپیوتری» برای تمام افراد و مهارت­ها قابل اجرا نیست.  اغلب «آزمون انطباقی کامپیوتری» بر مبنای تئوری سوال پاسخ می­باشد، که هنوز نظریه سوال پاسخ قابل انطباق با تمام مهارت­ها و انواع سوال­ها نیست. 

Intelligent improvement of item selection based on examinee's knowledge level in computer adaptive test

Abstract

Computerized Adaptive Testing (CAT) is a growing mode of assessment in many educational as well as non-educational institutions around the world. A distinct feature of CAT is its ability to tailor the test to the ability level of a test taker based on the observed responses to previously administered items. Hence, shorter tests can be administered and yet more accurate estimates can be attained.  Several approaches have been proposed for making CAT systems based on Item Response Theory.  The main emphasis of this thesis is to improve the question selection method in computer adaptive test which is based on the item response theory. Here in addition to the question parameters which are discussed in the item response theory, we propose a structure for questions which not only improves the question selection method but also decreases the examination time. In addition, we can identify the items in which the examinee is weaker and propose an appropriate test. This means if the examinee is weaker in an item, the instructor makes an appropriate decision based on the examinee level.

Another important aspect in question selection is evaluating the abilities of the examinee to choose an appropriate question. There are different methods to evaluate and estimate the level of examinee. In this thesis, we employ neural networks to estimate level of knowledge. We propose there neural network models.  First model is exhaustive prune neural network which is an accurate model but with a long learning time. Another model is multilayer perceptron neural network and radial basis function network.

Key Words

Computerized Measurement, Computer-based Test, Computer Adaptive Test, Item Response Theory, Beysian Network, Artificial Neural Network.