آزمون بر پایه داده های عمومی؛ یک طرح پیشنهادی

آزمون ابزاری برای تشخیص توانمندی ها و استعداد های انسان هاست. در آزمون یک سازمان که با آزمون گیر به آن اشاره می کنیم، روی یک فرد یا گروه که به آن آزمون دهنده می گوییم عملی را انجام می دهد تا میزان یک مهارت را در او تشخیص دهد. در مدارس، مراکز علمی، گزینش برای استخدام و انواع دیگر غربال گری و گزینش از آزمون ها استفاده می شود. اجرای صحیح و عادلانه آزمون می تواند بسیار با اهمیت باشد چون آزمون ها می توانند سرنوشت بعضی از انسان ها را تغییر دهند. در این شرایط، اگر از اخلاق انسانی صرف نظر کنیم آزمون دهنده نهایت تلاش خود را می کند تا با کمترین هزینه، به آزمون گیر القا کند که مهارت را دارد و آزمون گیر باید تلاش کند که آزمون دهنده را محدود کند و شرایط آزمون را طوری بچیند که دقیق ترین نتیجه از آزمون به دست بیاید. یعنی عملا یک نبرد میان آزمون گیر و آزمون دهنده وجود دارد و چون داده های جنگی نمی توانند عمومی باشند ممکن است به نظر برسد که آزمون عمومی هم نمی توانیم داشته باشیم. اما این پروپوزال یک روش برای آزمون های بر پایه داده های عمومی ارائه می دهد که روشی ایمن و در عین حال شفاف و بدون مخفی کاری است که می تواند از مزایای داده های عمومی بهره ببرد.

در این طرح، ما صرفا آزمون هایی را در نظر می گیریم که هدف آن تشخیص این است که یک فرد یک مهارت را دارد یا خیر و آزمون هایی که می خواهند افرادی که بیشترین مهارت را دارند را برگزینند شامل این پروپوزال نمی شوند. البته این آزمون می تواند آن نوع از نیاز ها را نیز پوشش دهد؛ مثلا اگر در یک آزمون استخدامی افراد با بیشترین مهارت تشخیص داده می شوند می توان یک آزمون از این نوع عمومی گرفت و با آن تشخیص داد که آیا داوطلبان در سطح قابل قبولی مهارت دارند یا خیر و سپس گزینش را بر اساس فاکتور دومی مانند دستمزد هر شخص انجام داد. هم چنین تشخیص بر خلاف حالت مرسوم که خروجی پیوسته مانند یک نمره از صفر تا بیست می دهد، یک خروجی گسسته با چند حالت محدود می دهد و در حالت ساده ما صرفا دو حالت قبول (شخص مهارت دارد) و مردود (مهارت شخص تایید نمی شود) را در نظر می گیریم. نکته قابل توجه این است که آزمون های فعلی نیز اصلا دقت خوبی ندارند و این نمره دهی پیوسته در آن ها بسیار سلیقه ای و بدون رابطه مشخص با موضوع آزمون است. مثلا کسی که در یک آزمون درسی ده می گیرد تقریبا درس را فهمیده است و کسی که بیست می گیرد هم با تفاوت کمی بیشتر درس را فهمیده است اما کسی که صفر می گیرد اصلا چیزی از درس نشنیده است ولی سیستم آزمون گیری فعلی اختلاف این سه مورد را با هم برابر و برابر ده نمره اعلام می کند که نشان از ضعف سیستم دارد.

شرح

در این روش پیشنهادی ما یک آزمون گیرنده هستیم که می خواهد از افراد آزمون بگیرد و با توجه به توانایی آن ها به آن ها نتیجه قبول یا رد دهد. هدف ما این است که کسی که مهارت را ندارد حتما مردود شود و در عین حال همه کسانی که مهارت را دارند بتوانند نتیجه قبول بگیرند. توجه کنید که هر دوی این هدف ها به یک اندازه اهمیت دارند. مثلا اگر همه را مردود کنیم به هدف اول می رسیم اما آزمون ما ارزشی ندارد.

آزمون ما از دو داده تشکیل می شود. داده اول یک آزمون به صورت تصادفی می سازد و داده دوم پاسخ های آزمون دهنده را بررسی می کند و نتیجه قبول یا رد را محاسبه می کند. داده اول می تواند یک بانک سوال بزرگ باشد یا با تغییر پارامتر های سوال به صورت تصادفی سوالات جدید تولید کند. داده دوم می تواند بررسی کند که گزینه های درست انتخاب شده باشند، جواب سوال را محاسبه کند و با جواب آزمون دهنده مقایسه کند، روی کدی که آزمون دهنده به عنوان جواب محاسبه کرده تست هایی را اجرا کند، با یک نرم افزار صحت سنجی اثبات ها درستی پاسخ را بررسی کند، با الگوریتم های یادگیری ماشینی صحت پاسخ را حدس بزند یا ... هر دوی این داده ها به صورت عمومی در اختیار همه قرار دارند از جمله آزمون دهنده. یعنی آزمون دهنده کاملا می تواند تمام سوالات ممکن در امتحان را ببیند و به آن ها پاسخ دهد و پاسخ هایش را از دید آزمون گیر بررسی کند. این امکان ممکن است این مشکل را به وجود بیاورد که فردی بدون مهارت با کمک داده های آزمون بتواند در آزمون قبول شود که یعنی به هدف اول نرسیده ایم.

این مشکل را می توان با زیاد کردن حجم بانک سوالات و سخت گیرانه کردن آزمون حل کرد. مثلا تنها وقتی نتیجه قبول صادر کنیم که آزمون دهنده به تمامی سوالات پاسخ درست داده باشد و حجم سوالات ممکن را به حدی زیاد کنیم که بررسی نیمی از سوالات ممکن معادل یادگیری مهارت مورد نظر یا کاری به شدت سخت تر از آن باشد. (مثلا هزار سوال ممکن وجود داشته باشد که تمام جزییات را پوشش دهد) در این صورت کسی که فقط بخواهد از طریق داده های آزمون در آن موفق شود و با توجه به فرض ما کمتر از نیمی از آن را مسلط باشد، احتمال موفقیتش در آزمونی که ده سوال دارد و باید به تمامی آن ها پاسخ درست دهد کمتر از یک هزارم است که یعنی از این روش نمی تواند موفق شود. البته این سخت گیری ممکن است هدف دوم را به خطر بیندازد یعنی کسانی که به مهارت در سطح مورد انتظار ما مسلط هستند مردود شوند.

این مساله را می توان با اجرای مجدد آزمون بر طرف کرد. آزمون مبتنی بر داده عمومی بسیار ارزان است و علاوه بر عدم نیاز به طراح برای هر آزمون، حتی نیاز به مراقب هم ندارد و در یک سیستم نظارت شده می تواند با ایمنی خوبی اجرا شود. بنابراین می توانیم به هر کسی اجازه دهیم تا به تعداد زیاد در آزمون شرکت کند. اگر کسی که باید قبول شود به احتمال نود درصد به هر سوال پاسخ دهد، به احتمال بیش از یک سوم در آزمون ده سواله ما قبول می شود و یعنی به طور میانگین با سه بار شرکت در آزمون قبول خواهد شد. با تنظیم سختی ها می توانیم کاری کنیم که فرد مسلط با یک یا دو بار آزمون قبول شود اما فرد متقلب به صد ها بار آزمون نیاز داشته باشد.

مزایا

مزایای این روش آزمون گرفتن، از مزایای کلی داده های عمومی ناشی می شود. داده های عمومی ارزان تر و با کیفیت تر هستند. با آن ها چرخ دوباره اختراع نمی شود. شفافیت آن ها را مطمئن و قابل اعتماد می کنند. افرادی که یک کار را می کنند می توانند توانشان را تجمیع کنند و ... . در این قسمت این مزایا را به خصوصیات منحصر به فرد آزمون تطبیق می دهیم و مزایای خاص آزمون های بر پایه داده های عمومی را بررسی می کنیم.

حذف استرس

کم شدن هزینه آزمون این امکان را به آزمون دهنده می دهد که آزمون را با هزینه ناچیزی تکرار کند. در نتیجه آزمون دهنده تمرکز را روی یادگیری می گذارد و می داند که اگر به آن چه لیاقتش را داشت نرسید می تواند آزمون را مجددا تکرار کند.

آزمون با کیفیت تر و ایمن تر

مثلا در یک آزمون در مدرسه معلم می تواند به هر دانش آموز سوالات مخصوص خودش را بدهد و امکان تقلب را از بین ببرد و در عین حال بدون هیچ زحمتی، از بهترین و با کیفیت ترین سوالات استفاده کند. توان تمامی معلم ها در تمامی مدارس می تواند برای تولید با کیفیت ترین و دقیق ترین آزمون با یک دیگر تجمیع شود.

عدم نیاز به کار مستمر

آزمون سنتی یک بار مصرف است و برای هر دوره باید مجددا طراحی شود. طراحی مجدد نیاز به نیروی انسانی دارد و این یعنی یک نیروی انسانی به طور مستمر باید روی یک کار تکراری (طراحی آزمون) هزینه شود. پس آزمون بر پایه داده های عمومی هزینه ها را کم می کند و یک نیروی انسانی را آزاد می کند تا به یک کار غیر تکراری، غیر ماشینی، خلاقانه و مطابق با شان انسانی بپردازد.

علاوه بر طرح آزمون، تصحیح نیز فرایند مشابهی دارد که نیاز به کار بیشتر و ماشینی تری هم دارد. البته تصحیح ماشینی و حتی تصحیح بر پایه داده ها و ماشین های عمومی مختص این روش آزمون گیری نیستند و در آزمون های سنتی هم می توان از آن استفاده کرد.

محدودیت ها

از این طرح آزمون نمی توان در همه جا استفاده کرد. محدودیت هایی که این مدل از آزمون گرفتن دارد عبارت اند از:

• نتیجه گسسته با تعداد درجات کم: امکان آزمون دهی مجدد در یک سیستم نمره دهی پیوسته باعث می شود تا افراد با تکرار پی در پی آزمون نمره خود را زیاد کنند.
• عدم ایجاد رقابت: این نوع آزمون برای آزمون های رقابتی مناسب نیست چون انتظار می رود بسیاری از افراد بتوانند نتیجه قبول یا بهترین درجه را کسب کنند و نمی توان به این وسیله استعداد یابی و گزینش انجام داد. به عنوان جایگزین گزینش بر پایه تعداد، می توان از آزمون های مرحله به مرحله تا رسیدن تعداد به ظرفیت یا از فاکتور دوم برای تعیین اولویت میان افراد پذیرفته استفاده کرد.
• کیفیت پایین تصحیح ماشینی: تعیین نتیجه آزمون به کمک ماشین ها و داده ها ممکن است در برخی از صورت های آزمون نتیجه مطلوبی نداشته باشد. مثلا نتوان با آزمون گزینه ای یا پاسخ کوتاه از درک مطلب توسط آزمون دهنده اطمینان کسب کرد یا آموزش نحوه پاسخ دادن به صورت ماشین فهم به آزمون دهنده سخت باشد (مثلا برای نوشتن اثبات های فرمال)

مطالب مرتبط

• داده های عمومی جنگی
• آموزش نوعی داده است