۶۲۴۵/۱ تا ۶۲۴۵/۱-

۱۲۶۰/۰

۰۱۶۱/۰

۸۴۶/۶۱

۵/۲ تا ۶۲۴۵/۱ & 5/2- تا ۶۲۴۵/۱-

۱۲۸۹/۰

۰۱۷۲/۰

۱۲۲/۶۰

۴ تا ۵/۲ & 4- تا ۵/۲-

۱۳۳/۰

۰۱۷۸/۰

۱۳۲/۵۶

نمودار ۳-۱: مراحل شبیه‌سازی سنجش انطباقی کامپیوتری
نمودار ۳-۲: میزان آگاهی فراهم شده بوسیله‌ی یک سؤال که بر اساس مدل راش مدرج شده است.
نمودار ۳-۳: نمونه‌ای از تصویر ab-bin یا ab-block

نمودار ۳-۴: توزیع جمعیت برای نمونه ۵۰۰ نفری ( در بازه ۴- تا ۴) با فواصل ۱۲۵/۰

نمودار ۳-۵: توزیع جمعیت برای نمونه ۶۰۰۰ نفری ( در بازه ۴- تا ۴) با فواصل ۱۲۵/۰
فصل چهارم
تجزیه و تحلیل یافته‌های پژوهش
تجزیه و تحلیل یافته­های پژوهش
مقدمه
در این فصل اطلاعات مربوط به شبیه‌سازی خزانه‌های سؤال بهینه و نتایج داده‌های بدست آمده از اجراهای واقعی CAT مورد بررسی قرار خواهد گرفت.
این قسمت از دو بخش عمده تشکیل شده است. در بخش اول، روش شبیه‌سازی مونت کارلو ریکیسی (۲۰۰۳) در مورد شبیه‌سازی خزانه‌ی سؤال بهینه بر اساس مدل راش مورد بررسی قرار می‌گیرد. این بخش به منظور مفهوم‌سازی رویکرد اکتشافی ریکیسی (بر اساس روش bin-and-union ) در طراحی خزانه‌ی سؤال بهینه، در مورد آزمون  CAT که تک محتوایی است و هیچ گونه روش کنترل مواجهه‌ بیش از حد سؤال بر آن اعمال نمی‌شود و پهنای b-bin ها برابر با ۲/۰ است، شبیه‌سازی می‌شود، تا از این طریق منطق و زیربنای این شبیه سازی به صورت کامل در مدل تک پارامتری راش، شرح داده شود. در قسمت دوم ویژگی‌های مربوط به خزانه‌های سؤال بهینه‌ی شبیه‌سازی شده بر اساس مدل سه پارامتری (قابل تعمیم به مدل دو پارامتری نیز می‌باشد)، شامل؛ اندازه‌ی خزانه‌ی سؤال، ویژگی‌های آماری و غیر آماری خزانه‌ها مورد بررسی قرار می‌گیرد. همچنین، عملکرد خزانه‌های سؤال شبیه‌سازی شده با عملکرد خزانه‌ی سؤال عملیاتی مقایسه می‌شود، این عملکردها از طریق ملاک‌های ارزیابی خزانه‌ی سؤال شامل، میانگین آگاهی آزمون در هر سطح  ، سوگیری یا بایاس، میانگین مجذور خطا (MSE)، به منظور سنجش دقت برآورد  ، میزان چولگی یا کجی توزیع نرخ مواجهه‌ سؤال، درصد سؤالات بیش مواجهه شده، نرخ همپوشی سؤال و درصد سؤالات کم مواجهه شده، به منظور محاسبه‌ی شاخص امنیت آزمون، مورد ارزیابی قرار می‌گیرد (چانگ و یینگ، ۱۹۹۹ ؛ ریکیسی ۲۰۰۵).
در این فصل نتایج بدست آمده از اجرای شبیه‌سازی های صورت گرفته برای ساخت خزانه‌های سؤال بهینه در ۱۸ طرح متنوع گزارش می‌شود، سپس، نتایج حاصل از هر یک از طرح‌ها با یک خزانه‌ی سؤال عملیاتی مقایسه خواهد شد.
در این فصل ذکر چندین نکته قبل از گزارش نتایج ضرورت دارد:
از این پس به خزانه‌های سؤال بهینه‌ای که بر اساس روش bin-and-union ایجاد می‌شود، بر اساس اختصار ROP (range-optimal item pool) گفته خواهد شد. این اختصار از پژوهش‌ ریکیسی و هی( b 2009) گرفته شده است.
همچنین، خزانه‌ی سؤال عملیاتی به صورت اختصار، OP (operational item pool) بیان می‌شوند، این اصطلاح از پژوهش گو و ریکیسی (۲۰۰۷) گرفته شده است.
با دستکاری چهار عامل: روش ایجاد سؤال بهینه (R، MRP، MTI)، پهنای b-bin (2/0 و ۴/۰)، کنترل و یا عدم کنترل مواجهه بیش از حد سؤال، در نظر گرفتن و یا نگرفتن تعادل محتوای در CAT، ۱۸ خزانه‌ی سؤال بهینه یا (ROP_1, ROP_2, ROP_3, …, ROP_18) ایجاد شد. که در جدول ۴-۱ آورده شده است.
لازم به ذکر است که آزمون ریاضی CAT عملیاتی شامل دو بخش است، یک بخش، آزمون ۲۰ سؤالی که در آن تعادل محتوای سؤالات ارائه شده، در نظر گرفته نشده است (این آزمون تنها به منظور اهداف پژوهشی بر روی نمونه‌ای معرف از جامعه‌ی مورد نظر اجرا شد). و بخش دوم، یک آزمون ۶۰ سؤالی که در آن محتوای سؤالات آزمون دارای اهمیت می‌باشد. آزمون ۶۰سؤالی دارای وزن محتوایی ثابت برای همه‌ی آزمودنی‌ها می‌باشد، یعنی شامل، ۲۵ سؤال حسابان (arithmetic)، ۱۵ سؤال جبر خطی (algebra) و ۲۰ سؤال هندسه (geometry) می‌باشد. هر یک از این دو قسمت، به صورت مجزا در نمونه‌های همتایی (۳۵۰ نفری) از جامعه‌ی دانش‌آموزان مقطع پیش‌دانشگاهی به صورت آنلاین اجرا شد.
همچنین، نتایج ساخت خزانه‌های سؤال سه پارامتری برای CAT ، با در نظر گرفتن تعادل محتوایی و بدون تعادل محتوایی، دارای تعداد سؤالات متفاوتی است، از این‌رو، در این پژوهش این هدف وجود ندارد که نتایج این دو قسمت با یکدیگر مقایسه شود زیرا، تعداد سؤالات متفاوتی را شامل می‌شوند. بنابراین، در این فصل، برای طراحی خزانه‌های سؤال بهینه بر اساس مدل سه پارامتری دو تقسیم بندی کلی وجود دارد، یکی از آنها تحت عنوان، خزانه‌های سؤال بدون در نظر گرفتن تعادل محتوایی و دیگری، خزانه‌های سؤال با در نظر گرفتن تعادل محتوایی می‌باشد.
تقسیم بندی دیگری که در طراحی خزانه‌های سؤال در نظر گرفته شد، عامل مواجهه‌ سؤال است.
همچنین، از آنجا که پهنای b-bin ها، یکی از عوامل مهم در دقت اندازه‌گیری خزانه‌ی ایجاد شده، می‌باشد و بر وپژگی‌هایی همچون تعداد سؤال و توزیع پارامترهای سؤالات نیز تاثیر می‌گذارد، دو پهنای ۲/۰ و ۴/۰ که به ترتیب برابر با ۹۶/۰ . ۹۹/۰ دقت اندازه‌گیری می‌باشند، با یک میزان ثابت در دامنه‌ی تغییر پارامتر a یا تغییر در بیشینه‌ی آگاهی برابر با ۴/۰، وارد تحلیل می‌شوند.
جدول ۴-۱: طرح‌های خزانه‌ی سؤال شبیه‌سازی شده