Sources of Question Differential Function and its Application in Education

یافته­های پژوهش

به دلیل اهمیت مقایسه­های گروهی نمرات در سنجش­های در مقیاس بزرگ و لزوم هم­ارزی سؤال‌ها برای مقایسه گروه­های مختلف شرکت­کننده در یک آزمون، در طی سال­ها با استفاده از روش­های گوناگون به شناسایی منابع وجود DIF پرداخته شده است. 19 مقاله موردبررسی در این مطالعه در امتداد سال­های 1999 تا 2017 انجام گرفته است. در بیشتر مقالات (12مقاله) به بررسی DIF در نسخه‌های زبانی مختلف یک آزمون پرداخته شده، گروه­های مورد مقایسه دیگر برای بررسی DIF، گروه­های قومی، جنسیتی، گروه­های سنی و گروه­های دریافت‌کننده مساعدت آزمون و گروه­های بدون دریافت مساعدت آزمون است و در یک مقاله از سؤال‌هایی که در پژوهش قبلی دارای DIF شناسایی‌شده­اند استفاده شده است.

    به‌طورکلی منابع یافته شده برای DIF در 7 دسته قرار دارند. دسته­بندی منابع و تعداد مقالاتی که این منابع را به‌عنوان علت DIF موردبررسی قرار داده­اند، در جدول 2 ارائه شده است. به دلیل اینکه معمولاً مقالات چندین عامل را به‌عنوان منبع DIF شناسایی نموده­اند، مجموع ستون تعداد مقالات از 19 بیشتر شده است.

جدول (2): دسته­بندی منابع DIF در مقالات مرتبط با منابع و علل DIF

    منابع DIF مربوط به ویژگی­های سؤال عبارت است از بارشناختی مفهومی سؤال، تفاوت در ساختار منطقی محتوا و قالب سؤال‌ها (مثل سؤال‌های چندگزینه‌ای یا باز پاسخ)، نوع سؤال (انتزاعی یا حقیقی)، تفاوت در طول نسبی دو نسخه، تغییر در دشواری کلمات یا عبارات، کلمات کلیدی که کمک یا مانعی برای حل سؤال هستند، کارکرد افتراقی گزینه­های انحرافی سؤال، محتوای سؤال‌ها ازجمله، عبارات منفی، اصطلاحات، استعاره­ها و سؤال‌ها با طولی که ممکن است در حافظه آزمودنی‌ها با توانایی پایین باقی نماند، است. همچنین منابع DIF شناسایی‌شده در مسائل مربوط به ترجمه و انطباق آزمون شامل نقص در ترجمه، تفاوت دستوری بین زبان­ها، تفاوت­های معنایی و مسائل زبان‌شناختی است.

    در مورد روش­های شناسایی منابع DIF، تعداد 14 مقاله از طریق تحقیقات گذشته منبع DIF را شناسایی نموده­اند، که از آن جمله می­توان استفاده از نظر 5 مترجم و 3 کارشناس زبان (Allalouf, Hambleton, Sireci,1999)، از نظر گروهی از متخصصان (Elosua, López-jaúregui,2007, Ercikan and et al,2010)  ،از تحلیل محتوای پروتکل تفکر با صدای بلند در مورد مرورگران حرفه­ای با استفاده از روش­های استاندارد تحلیل محتوا (Roth and et al,2013) و از تفسیر شرکت­کنندگان در آزمون برای شناسایی منابع DIF (Benítez, Padilla,2014) استفاده شده است. همچنین از روش مدل­های ترکیبی[5] IRT برای شناسایی ابعاد ثانویه مزاحم استفاده شده است، چندبعدی بودن آزمون یکی از علت­های اصلی DIF است، یافته­های این تحقیق سه طبقه مکنون را نشان می­دهد که در توانایی اندازه­گیری در آزمون جبر و درک مطلب، متفاوت هستند (Cohen, Bolt, 2005).

    پس‌ازاینکه منابع DIF شناسایی شد، از راهبردهای آماری و یا غیر آماری برای بررسی تأثیر منابع شناسایی‌شده، بر DIF استفاده شده است. در 10 مقاله از راهبردهای آماری، در 5 مقاله راهبردهای غیر آماری، در یک مقاله، هم از تحلیل­های آماری و هم از تحلیل محتوا استفاده شده است و طرح پژوهش یک مقاله هم طرح ترکیبی، شامل ترکیب روش­های کیفی و کمی است. در دو مقاله هم راهبردی برای بررسی تأثیر منابع DIF معرفی نشده و هدف آن‌ها تنها ارائه منابع احتمالی برای DIF بوده است. در تمامی مقالاتی که از راهبردهای بررسی تأثیرگذاری DIF استفاده نموده­اند، به‌جز گروه­های سنی، ویژگی­های فرهنگی (Elosua and et al., 2007)، قالب­بندی و ارائه بصری، وضوح و هدایت زبانی (Ercikan and et al., 2010) در تأثیر منابع DIF به تأیید رسید.

راهبردهای آماری برای بررسی تأثیر منابع DIF

در این بخش راهبردهای به کارگرفته شده در مطالعات به ترتیب زمانی قرار داده شده­اند. برای بررسی تأثیر قالب سؤال (چهارگزینه‌ای در مقابل بازپاسخ) و نوع سؤال (انتزاعی در مقابل حقیقی) در DIF از طرح مطالعه DIF تصادفی و استفاده از SIBTEST برای آزمون اثرات علل DIF استفاده شده است. نتایج، اثر کوچک اما معنادار و ثابت در میان سؤال‌ها، از قالب سؤال و اثر بزرگ و باثبات کمتری در نوع سؤال را نشان داد و اثرات متقابل شامل اثرات سؤال و عوامل معنی­دار نبود (Bolt, 200). یکی از راه­هایی بررسی ویژگی­های سؤال مضنون به DIF از طریق مطالعه DIF تصادفی است. در ساده­ترین شکل، چنین مطالعه­ای شامل اجرای دو نسخه از سؤال‌های یکسان در دو نمونه تصادفی از آزمودنی­هاست، در یک نسخه عوامل مضنون به DIF حاضر هستند (یعنی نسخة آزمایشی) و در نسخه دیگر عوامل مضنون وجود ندارند (یعنی نسخه کنترل) (Schmitt, Holland, Dorans,1993). سهم عامل موردمطالعه در DIF با مقایسه مقدار DIF مشاهده شده در دو نسخه ارزیابی می­شود. مطالعه DIF تصادفی ممکن است بهترین کاربرد برای مطالعه عواملی باشد که ابعاد اصلی نیستند، یا اثرشان بعید است در بیش از یک سؤال در آزمون مشاهده شود، یا تأثیر نهایی آن‌ها در عملکرد سؤال نسبتاً کوچک است. نکته مهم در مطالعات DIF تصادفی، بررسی ثبات اثر یک عامل تصادفی در میان سؤال‌ها است. 

یکی از راهبرد مورداستفاده برای بررسی تأثیر کلاس­های اضافه پس از مدرسه در نمرات ریاضی تیمز بین ایالات متحده و تایوان، استفاده از مدل­سازی DIF ترتیبی (رگرسیون لوجستیک) است. نتایج این مطالعه نشان می­دهد که کلاس­های اضافه پس از مدرسه با کاهش در مقدار و تعداد سؤال‌های DIF مرتبط است. معمولاً در کشورهای آسیای شرقی آزمون ورودی متمرکز ملی برای ورود به دبیرستان یا دانشگاه وجود دارد، برای اطمینان از برد رقابتی در این آزمون­های ورودی، دانش‌آموزان برای تکمیل آموزش رسمی از آموزش خصوصی کمک می­گیرند، به همین دلیل کلاس­های اضافه می­تواند عاملی برای DIF بین کشورها باشد (Amery, Ercikan, 2006).

دیگر راهبرد مورداستفاده برای بررسی تأثیر گزینه­های انحرافی بر DIF در بانکز (2009) به این صورت است که ابتدا آزمون SIBTEST انجام می­شود تا تعیین نماید آیا هر گروه مقایسه شده در احتمال پاسخ صحیح به سؤال‌های آزمون متفاوت است. دوما روش برازش مدل لگاریتم خطی مورداستفاده قرار گرفت تا تعیین کند آیا سؤال‌هایی که DIF متوسط یا زیاد دارند ارتباط معناداری با نمره کل، عضویت گروهی و گزینه­های انحرافی نشان می­دهند. سوم نسبت­بخت­ها محاسبه می­شود برای تعیین اینکه آیا گروهی که سؤال‌های DIF بر علیه آن است دارای شانس بیشتری برای انتخاب گزینه پیچیده انحرافی نسبت به سایر گزینه­های انحرافی در مقایسه با دیگر گروه­ها با توانایی مشابه، است. سؤال‌هایی که از هر سه مرحله عبور کنند، به‌عنوان سؤال‌هایی که نتایج DIF آن مربوط به (کارکرد افتراقی گزینه انحرافی) DDF است شناسایی می­شوند. نتایج نشان می­دهد چهار سؤال دارای DIF متوسط بر علیه زنان در آزمون UE بود و یک سؤال DIF متوسط برعلیه سفیدپوستان داشت و این آزمودنی­ها به‌طور افتراقی به سمت گزینه انحرافی "بدون اشتباه" کشیده شدند. هیچ‌کدام از سؤال‌های آزمون MP از هر سه مرحله گذر نکردند (Banks, 2009).

    یک روش رایج وابسته به مدل برای تشخیص DIF در IRT، آزمون نسبت درستنمایی است که توابع درستنمایی برای ارزیابی تفاوت پارامترها در گروه­ها، مقایسه می­شوند (Thissen, Steinberg,Gerrard,1986; Thissen, Steinberg, Wainer,1988,1993). برای مطالعه گزینه‌های انحرافی به‌عنوان عاملی برای DIF در سؤال‌های چندگزینه­ای تحت مدل دو پارامتری آشیانه­ای چندگروهی، سه مدلِ سلسله مراتبی آشیانه­ای با محدودیت­های متفاوت در مطالعه دیگر نظر گرفته شد: 1- یک مدل فشرده که در آن پارامترهای سؤال برای یک سؤال در تمامی گروه­ها برابر در نظر گرفته شده، 2- یک مدل افزوده شده که در آن تنها پارامترهای گزینه انحرافی سؤال محدود شدند که در تمام گروه­ها مساوی باشند، 3- مدل افزوده دوم که در آن هیچ‌کدام از پارامترهای سؤال (پارامترهای گزینه انحرافی و گزینه درست) محدود نشدند که مساوی باشند. با محاسبه آماره  برای مقایسه مدل فشرده و افزوده اول (آزمون1) می­توان آزمود که آیا DIF وجود دارد. با محاسبه  برای مقایسه مدل­های افزوده اول و دوم (آزمون 2) می­تواند ارزیابی کرد که آیا DIF مشاهده شده از رد آزمون1 به‌دلیل حضور DDF اتفاق افتاده است. این پژوهش، مطالعه­ای شبیه‌سازی به‌منظور سنجش عملکرد آماره نسبت درستنمایی برای شناسایی DDF تحت مدل دو پارامتری آشیانه­ای است (Suh, Bolt, 2011).   

    راهبردی برای اثر انطباق نسخه­های زبانی و بارهای شناختی سؤال بر DIF، تحلیل کارکرد افتراقی دسته (DBF) با استفاده از SIBTEST است. سؤال‌هایی که تصور می­شود منابع بالقوه DIF هستند توسط متخصصان شناسایی می­شوند. سپس این سؤال‌ها به‌صورت دسته در می­آیند و تحلیل DBF در مورد آن‌ها انجام می­شود. در مطالعه­ای که از این راهبرد استفاده نمود DBF معناداری یافته نشد بنابراین فرضیه اثر ترجمه و انطباق به‌عنوان منبع DIF در این مجموعه داده مورد تأیید قرار نگرفت. این مورد می­تواند مثالی از سؤال‌های DIF باشد که به‌طور هماهنگ عمل می­کنند تا در سطح دسته­بندی شده لغو شوند، پدیده­ای که لغو DIF نامیده می­شود. اثر بارهای شناختی سؤال بر DIF در این مطالعه تأیید شد (Sandilands and et al., 2013).

    راهبرد مورداستفاده برای بررسی تأثیر ویژگی­های معلم و دانش‌آموز در DIF به این صورت است که تحلیل ابتدا با تعیین ابعاد ساختار داده­های آزمون و بررسی تعداد طبقه­های مکنون انجام می‌گیرد. سپس DIF در میان طبقه­های مکنون بررسی می­شود. در انتها منابع DIF طبقه­های مکنون با استفاده از دو روش بررسی می­شود. ابتدا به‌طور نظام­مند سؤال‌های DIF را بر مبنای جنبه‌های اصلی گروه­بندی نموده، دوما از مدل پیش‌بینی برای بررسی عوامل مرتبط با دانش­آموز (کشو، سن و جنس) و معلم (آموزش مهارت­های رمزگشایی، گروه­بندی­ها با توانایی مشابه، آموزش گروه­های کوچک) که می­تواند به‌طور بالقوه زمینه­ساز DIF باشد، استفاده می­شود. مدل­سازی طبقه مکنون با استفاده از سه روش آماری: تابع تشخیص توصیفی، رگرسیون لوجستیک چندجمله­ای و تحلیل رگرسیون لوجستیک چندجمله­ای چند سطحی انجام می­گیرد. توافق در سه روش آماری برای سه متغیر یافته شد: میانگین مقادیر قابل‌قبول، مقایسه بین هنگ­کنگ و قطر، و سن. معنی‌داری دیگر متغیرها، مقایسه دو کشور دیگر، جنسیت و آموزش مهارت­های رمزگشایی و گروه‌های کوچک، به روش مورداستفاده برای بررسی منابع DIF طبقه مکنون وابسته است (Oliveri and et al., 2013).

    در مطالعه­ای دیگر با استفاده از ادغام نتایج به‌دست‌آمده از تحلیل کمی DIF و مصاحبه شناختی، تفسیرهای شرکت­کنندگان به‌وسیله تم­ها و زیرتم­ها که از روایات آن‌ها به‌دست‌آمده، مقایسه شدند. نتایج این مطالعه نشان‌داد سؤال‌ها با DIF فراگیر منجر به فرایندهای پاسخ مختلف به عناصر موجود در متن سؤال می­شود، یعنی افراد هنگامی‌که به این سؤال‌ها پاسخ می­دهند، درباره مسائل مختلفی فکر می­کنند. بنابراین می­توان گفت سؤال‌ها با DIF فراگیر حاوی عناصر مفهومی متفاوت است که دارای معانی مختلفی هستند درحالی‌که سؤال‌های با DIF غیرفراگیر، به‌دلیل تجارب مختلف مرتبط با زمینه یا فرهنگ، متفاوت هستند. نتایج همچنین نشان‌دهنده وجود مشکلات احتمالی در انطباق، ناشی از استفاده از اصطلاحاتی است که در دو نسخه معادل نیستند (Benítez, Padilla, 2014).

    برای بررسی تأثیر زبان مادری آزمودنی بر DIF، از جزءبندی بازگشتی مبتنی برمدل[6] (MBRP) برای بررسی DIF یکنواخت استفاده شده است، نتایج نشان‌ داد که DIF بر مبنای زبان مادری در چندین سؤال پیرلز وجود دارد اما الگوی DIF در همه کشورها یکسان نیست (Finch and et al., 2016).   

    به‌منظور بررسی اثربخشی سه روش پیاده‌سازی MIMIC، نقطه شروعِ ثابت، نقطه شروع آزاد و روش جدید نقطه شروعِ آزاد متوالی(MIMIC) مطالعه شبیه­سازی برای شناسایی کارکرد افتراقی یکنواخت و غیریکنواخت سؤال برای چندگروه، انجام شده است. نتایج نشان می­دهد روش نقطه شروعِ به‌طور متوالی آزاد خطای نوع اول و توان آزمون عالی فراهم می­نماید و نتایج آن مشابه با روش نقطه شروع آزاد ایده­آل است که از طرح لنگر فاقد DIF استفاده می­کند و خیلی بهتر از روش نقطه شروع ثابت است که از همه سؤال‌ها به‌جای سؤال‌های موردمطالعه به‌عنوان لنگر استفاده می‌کند (Chun and et al., 2016).

    در بررسی تأثیر چیرگی در ویژگی­ها و مهارت­های زیربنایی برای عملکرد در سؤال‌ها، مدل­های شناختی تشخیصی ماتریس Q که شامل ویژگی­های زیربنایی عملکرد در سؤال‌ها است تشکیل‌شده است و تفاوت معنادار احتمال چیرگی در ویژگی­ها در گروه­های مورد مقایسه، با آزمون مانوا انجام شد و نتایج نشان داد که به‌طور متوسط تفاوت در میزان چیرگی بر یک ویژگی بین دریافت­کننده و عدم­دریافت‌کنندگان مساعدت در حدود 33 تا 44 درصد است (Svetina and et al., 2017).

راهبردهای غیر آماری برای بررسی تأثیر منابع DIF

راهبردی که برای شناسایی انطباق نسخه­های آزمون به‌عنوان منبع DIF به­کارگرفته شده است، مرور قضاوتی با مترجمان چندزبانه و روایی متقاطع DIF در گروه­های چندگانه است، دو شاهد برای حمایت از این فرض که انطباق منبعی برای DIF است به­کار گرفته شد، اول شناسایی تفاوت­ها در معانی، ساختار و قالب بین نسخه­های ترجمه شده سؤال‌ها در مرور قضاوتی و دوم روایی متقاطع DIF در دو مقایسه اضافه است (Ercikan, 2002). راهبرد دیگر برای سنجش منابع یافته شده برای DIF در انطباق نسخه­های چندزبانه آزمون، تشکیل کمیته دومی از متخصصان است، این کمیته شامل متخصصان زبانشناسی و معلمانی است که به‌طور مستقل از اولین کمیته (برای شناسایی منابع DIF) کار می­کنند. همچنین برای بررسی تأثیر پوشش برنامه درسی به‌عنوان منبعی برای DIF، توزیع DIF سؤال‌ها به‌وسیله موضوعات درسی بررسی شد. نتایج این پژوهش نشان داد، 23 درصد سؤال‌های DIF ریاضی و 13 درصد سؤال‌های DIF علوم در تفاوت در برنامه درسی دارند و 27 درصد در ریاضی و 37درصد سؤال‌های در علوم دارای DIF به دلیل انطباق نسخه­های آزمون است و 50 درصد سؤال‌ها به دلیل انطباق نسخه­های چندزبانه آزمون تیمز و برنامه درسی نبود (Elosua, López-jaúregui, 2007).

    راهبرد مورداستفاده برای تأثیر سن افراد در DIF، تحلیل محتوای سؤال‌هایی است که به‌وسیله متخصصان، دارا یا فاقد DIF شناسایی‌شده است. قضاوت متخصصان به‌طور واضح منابع را برای سؤال‌های دارای DIF مشخص نمی­کند. در این مطالعه، آزمون سوگیری علیه گروه­های سنی ندارد (Ardeshir, Antony, 2007).

    در مطالعه دیگر مشخصه­های از سؤال‌ها که به‌وسیله مرور متخصصان به‌عنوان منبع DIF بین دانش­آموزان از دو زبان، شناسایی‌شده است را به‌وسیله تأیید شواهد تجربی از پروتکل تفکر با صدای بلند بررسی نمودند. خواندن با صدای بلند برای درک اشتباه خواندن سؤال ضروری بود، هنگامی‌که دو نسخه زبانی دقیقاً معنای یکسانی داشتند اما دارای واژگان مستعد خطا هستند. منابع شناسایی ‌شده در این مطالعه کلمات کلیدی سؤال که ممکن است کمک یا مانع برای حل سؤال باشد، وضوح و هدایت زبان، قالب­بندی و ارائه بصری، تفاوت­های زبانی غیرمنتظره (اشتباه خواندن کلمه توسط دانش­آموزان فرانسوی‌زبان) است که به‌جز قالب­بندی و ارائه بصری، وضوح و هدایت زبانی، پروتکل تفکر با صدای بلند برای سایر منابع، شواهد تأییدی فراهم نمود (Ercikan and et al., 2010).

    در مطالعه دیگر برای بررسی تأثیر ویژگی‌های سؤال بر DIF از تحلیل محتوای تعقیبی سؤال‌ها کمک گرفته‌است، مثلاً توضیح احتمالی برای DIF غیریکنواحت مشاهده شده بر مبنای جنسیت این است که مردانی با توانایی پایین احتمالاً تمایل به ریسک داشتند و الگوی موفقیت­های آنان با خوش‌شانسی در سؤال‌های آزمون با گزینه­های غیر جذاب بوده‌است (Aryadoust and et al., 2011).

    به‌دلیل اینکه مقایسه بین دو گروه با زبان، فرهنگ و برنامه درسی یکسان، زبان و فرهنگ مشابه اما برنامه درسی متفاوت، زبان و فرهنگ و برنامه درسی متفاوت، امکان­پذیر شود، چهار گروه از دانش­آموزان از ایالت متحده، کانادا، چین و هنک­کنگ انتخاب شدند. راهبرد بررسی تأثیر منابع شناسایی‌شده شامل ترجمه آزمون، پوشش برنامه درسی متفاوت و تفاوت­های فرهنگی، استفاده از یک شخص دو زبانه برای بررسی اثر ترجمه (به‌دلیل محرمانه بودن اطلاعات تنها یک نفر انتخاب شده) است، استفاده از یک پانل شامل 10 نفر متخصص بررسی محتوا (معمولاً معلمانی که با محتوای برنامه درسی آشنایی دارند) و تعداد 15دانش‌آموزان برای بررسی اثر پوشش برنامه درسی، برای  بررسی اثر تفاوت فرهنگی بر DIF است. نتایج تحقیق نشان داد که جدی­ترین عامل DIF در بین سه عامل نام برده‌شده، پوشش افتراقی برنامه­های درسی است و آشنایی با محتوای آزمون به ‌طور افتراقی نیز در DIF سهم داشته‌است. جدی­ترین DIF بین دانش‌آموزان چین و ایالات متحده وجود دارد و بین دانش‌آموزان انگلیسی‌زبان کمترین‌DIF نشان داده‌شد (Huang and et al., 2016).

بحث و نتیجه­گیری

یافته­های مرور مقالات در مورد منابع DIF نشان داد، برای سازندگان آزمون­ها یکی از اهداف اصلی در تحقیق DIF، درک بهتر علل DIF در سؤال‌های آزمون است. محدودیت مطالعات DIF این است که آن‌ها صرفاً بر مبنای مشاهدات هستند و در نتیجه تنها اجازه استنباط­های مربوط به رابطه بین ویژگی­های سؤال و DIF را می­دهند (Schmitt and et al.,1993). به همین دلیل بیشتر مطالعات انجام شده به بررسی ویژگی­های سؤال به‌عنوان منبعی برای DIF پرداخته­اند. سازندگان آزمون لازم است در هنگام ساخت آزمون توجه کامل به ویژگی­های سؤال نمایند خصوصاً اینکه تقریباً در تمامی مقالات موردبررسی، معناداری این عوامل تأیید شده است. راهکارهای مختلفی برای جلوگیری از تأثیر ویژگی­های سؤال به‌عنوان منابع DIF در مقالات اشاره شده است. به‌عنوان‌مثال بررسی کارکرد افتراقی گزینه انحرافی (DDF) ضروری است زیرا با ترکیب DIF و DDF تحلیل کامل­تری از کارکرد سؤال ارائه می­شود. ویژگی دیگر سؤال، بارهای شناختی است که منابع اساسی از DIF را نشان می­دهد. با توجه به این منبع DIF، سازندگان آزمون بهتر است آزمون­هایی طراحی کنند که شامل سؤال‌هایی با نسبت متعادل بارهای شناختی بالاتر نسبت به بارهای شناختی پایین­تر باشند. محتوای سؤال‌ها همچنین می­تواند علت احتمالی DIF باشد. برخی از عناصر در سؤال‌های داری DIF ممکن است برای آزمودنی­های با توانایی پایین دشوارتر باشد، ازجمله، عبارات منفی، اصطلاحات، استعاره­ها و سؤال‌ها با طولی که ممکن است در حافظه آزمودنی­ها با توانایی پایین باقی نماند. تفاوت­های زبانی ممکن است به‌وسیله آزمودنی­ها با توانایی بالا بهتر مدیریت شود، آزمودنی­هایی که ممکن است با استفاده از اشارات زمینه­ای یا زبانی، به راهبردهای استنباطی متوسل شوند. عامل حدس زدن و طول سؤال، سازه­های مزاحم هستند و روایی استدلال آزمون را کاهش می­دهند. طراحان آزمون باید احتمال حدس را با افزایش گزینه‌های سؤال به چهار یا حتی پنج گزینه محدود نمایند.

    در مطالعات مربوط به انطباق نسخه‌های ترجمه شده و برنامه درسی، محققان اعلام می­کنند تنها در نظر گرفتن انطباق نسخه­های زبانی به‌عنوان منبع DIF کافی نیست، بلکه عوامل دیگری هم که می­تواند به‌طور بالقوه DIF را توضیح‌ دهد، بهتر است در نظر گرفت. از این جمله می­توان به تفاوت‌های روش­های آموزشی، تفاوت­های فرهنگی و محدودیت در تعاریف موضوعات اشاره نمود (ارسی کان، 2002). یکی از محدودیت­های مطالعات انطباق آزمون این است که تنها شامل دو زبان است. تکرار این مطالعات با استفاده از زبان­های دیگر و انجام تحلیل­های همزمان DIF چندگانه بین چندین زبان، راه‌حل پیشنهادی برای تحقیقات آینده است. تحقیقات بیشتر در مورد علل DIF در سؤال‌های ترجمه شده می­تواند بر اساس ایده­های زیر طراحی شود: 1- تمرکز بر سؤال‌هایی که نشان‌دهنده DIF نیستند 2- قرار دادن پرسشنامه­ای برای متقاضیان در هر دو گروه که از آن‌ها می‌خواهد درباره پاسخ­شان به‌ سؤالی خاص توضیح‌دهند. تحلیل توضیحات افرادی که به سؤال دارای DIF پاسخ نادرست دادند ممکن است به درک بهتر دلیل DIF بینجامد (Amery,Ercikan, 2006).

اگر علیه دانش­آموزانی سوگیری به دلیل فقدان موضوع سؤال در برنامه درسی­شان ایجاد شود، احتمال دارد سوگیری به‌وسیله طراحی مناسب سؤال از بین برود. از محققان و آموزگاران خواسته می­شود در طراحی سؤال به چند مورد مهم فکر کنند: دانش مشترک و فرآیندهای مورد انتظار از دانش­آموز بدون در نظر گرفتن کشور مبدأ، چیست؟ چه علومی دانش­آموزان باید بداند تا بتوانند به‌عنوان نیروی کار جهانی در آینده کار کنند؟ چه مواد آموزشی باید در برنامه­های درسی جدید قرار داده شود تا به توسعه توانایی علمی و مهارت دانش­آموز که موردنیاز جامعه مدرن است، کمک کند؟ تفاوت فرهنگی یکی دیگر از منابع بالقوه DIF است. تنها جنبه­ای که مطالعات حاضر در این زمینه یافته­اند، آشنایی متفاوت با محتوای آزمون بوده است.

    منابع متعددی برای DIF وجود دارد و بسته به نوع و هدف گروه­های موردسنجش و مقایسه، معنا و منابع DIF ممکن است متفاوت باشد. در نظر داشته باشید که یک متغیر برای منبع DIF در محتوای خاص و برای یک هدف خاص ممکن است منبع مناسبی برای DIF در سایر موارد نباشد و ویژگی­های فرهنگی یک منبع ذاتی DIF نیست، همان‌طور که تأثیر ویژگی­های فرهنگی به‌عنوان منبعی برای DIF تأیید نشد (Elosua, López-jaúregui, 2007). تحقیقات آینده می­تواند بر متغیرهایی که به‌طور مستقیم مربوط به زمینه­های آزمون است، مثل تفاوت در دانش تئوری دانش‌آموزان، مهارت­های آزمون دادن، استفاده از ماشین‌حساب یا نگرش نسبت به ریاضیات، متمرکز شود. در سنجش­های چندزبانه، هم­ارزی سؤال‌ها برای مقایسه گروه­ها بیشتر توسط نسخه­های چندزبانه آزمون تحت چالش قرار می‌گیرد. همچنین لازم است در نظر داشته باشید که تأثیر این عوامل بر DIF بسته به اینکه آیا آزمون یک آزمون روان‌شناختی، پیشرفت تحصیلی یا آزمون کسب مجوز است، متفاوت است.

    در مورد روش­های شناسایی منابع DIF، بیشتر مقالات با استفاده از تحقیقات گذشته به شناسایی منابع پرداخته­اند و همچنین برخی مقالات از نظر متخصصان استفاده نموده­اند، هرچند استفاده از نظر متخصصان برای شناسایی منابع DIF بسیار مؤثر است و تعداد زیادی از مطالعات مورد بررسی از این شیوه استفاده نموده­اند ولی پروتکل تفکر با صدای بلند منابعی از DIF را نشان می­دهد که به‌وسیله مرور متخصصان مشخص نشده است. از طرفی سؤال‌هایی که توسط متخصصان دارای DIF شناسایی نشده در پروتکل تفکر با صدای بلند قرار نمی­گیرد، بنابراین امکان بررسی تفاوت­های گسترده بین گروه­ها وجود ندارد. بااین‌حال در آزمون­ها با تعداد زیادی از سؤال‌ها، ورود همه سؤال‌ها در پروتکل تفکر با صدای بلند برای بررسی مقایسه­پذیری سازه عملی نیست. محدودیت پروتکل تفکر با صدای بلند، در نمونه محدود دانش­آموزان مورداستفاده در مطالعه است. با تعداد نمونه خیلی کوچکی که به‌طورمعمول در این پروتکل استفاده می­شود، نمی­توان انتظار داشت که، نماینده جمعیت مربوطه باشد (Ercikan and et al., 2010).   

    استفاده از روش طبقه­های مکنون برای شناسایی منابع DIF مفید است، ازآنجایی‌که چندبعدی بودن آزمون­ها علت اصلی DIF است، درک چندبعدی بودن آزمون و اثرات این ابعاد بر DIF، توانایی تفسیر دقیق­تر نمرات آزمون، کنترل بیشتر بر ابعاد مزاحم مرتبط و کاهش تأثیر آن‌ها را فراهم می­نماید (Cohen, Bolt, 2005). یکی از محدودیت­های مطالعه DIF، فقدان اظهارات صریح در مورد ابعاد اولیه و ثانویه مربوط به سؤال‌های آزمون از سازندگان آزمون است، که اگر ابعاد آزمون مشخص بود، می­توانست در فرضیه­سازی DIF در سؤال‌های چندبعدی کمک کند و سپس امکان آزمون فرضیه­ها به‌طور کامل به‌وسیله رویکرد تحلیل DIF مبتنی بر چندبعد، علاوه بر روش شناسایی DIF با SIBTEST استات[7]، وجود داشت (Roussos, Stout, 2004).

     به‌طورکلی مرور مقالات نشان می­دهد که مطالعات انجام شده یا اینکه تنها بر شناسایی منابع DIF تمرکز داشته­اند و راهبردی برای بررسی تأثیر منابع DIF شناسایی‌شده به کار نگرفته­اند و یا تمرکز اصلی مطالعه در راهبردی برای بررسی تأثیر منابع DIF شناسایی‌شده در مطالعات گذشته یا منابعی که توسط متخصصان یافته شده، بوده است، این مسئله از نقاط ضعف مطالعات است، انجام مطالعه­ای که هم بر شناسایی منابع DIF و هم بر انتخاب راهبرد مناسب برای بررسی تأثیر منابع شناسایی‌شده تمرکز داشته باشد، مطالعه­ای کامل در زمینه منابع DIF محیا خواهد نمود.

     در راهبردهای کمی برای بررسی تأثیر منابع DIF مثل مدل­سازی رگرسیونی، لازم است توجه کنیم که توفیق استفاده از این روش­ها در انتخاب دقیق متغیرها، هم از لحاظ نظری و هم از نظر آماری است. همچنین مدل­سازی MIMIC می­تواند تغییرات را در پاسخ سؤال‌هایی که با سازه زیربنایی ارتباط ندارد، مشخص نماید، اما اطلاعاتی درباره اینکه چرا این تغییرات ممکن است وجود داشته باشد ارائه نمی‌دهد. اگرچه مدل­سازی MIMIC قادر به سنجش تفاوت­ها در مورد دشواری سؤال (DIF یکنواخت) است اما نمی­سنجد که آیا پارامتر تشخیص سؤال‌ها در گروه­ها یکسان است (DIF غیریکنواخت). در مورد راهبردهای غیر آماری مورداستفاده باید در نظر داشت که در شناسایی منابع DIF با استفاده از مرور قضاوتی، تفسیرها و تلاش­های برای شناسایی منابع DIF می­تواند وابسته به اندیشه فرد باشد. این مسئله حادتر می­شود اگر مرورگران بدانند که کدام سؤال‌ها به‌طور افتراقی عمل می­کنند. منابع چندگانه در بررسی منابع DIF و فرایندهای مرور قضاوتی باید در نظر گرفته شود، با تمرکز بر یک منبع انتظار نداشته باشید که منبع DIF را برای همه سؤال‌هایی که دارای DIF شناسایی‌شده­اند، توضیح دهد.

    همچنین مرور تخصصی سؤال‌ها باید به‌وسیله افرادی که در مورد یادگیری دانش­آموزان آگاه هستند و تخصص فرهنگی یا زبانی دارند انجام شود، این روش رایج­ترین روش برای شناسایی خواصی (مثل محتوا، قالب، زمینه و زبان) از سؤال‌های دارای DIF آزمون است. بااین‌حال حتی اگر مرور تخصصی بتواند مشخص کند که آیا برخی جنبه­های سؤال‌های آزمون به DIF ارتباط دارد، نمی‌تواند منابع DIF را شناسایی‌کند. به‌علاوه مرور تخصصی توضیح نمی‌دهد که چگونه مشخصات سطحی سؤال ممکن است منجر به کارکرد افتراقی بین گروه­های آزمودنی شود. برای پاسخ به سؤال‌های چگونه و چرا لازمست اثر متقابل زبان سؤال‌های آزمون و فرایند تفکر آزمودنی درک شود.

    در نهایت سنجش کارکرد افتراقی سؤال در روایی نمرات آزمون مسئله­ای کلیدی است. با توجه به افزایش وابستگی سیاست‌گذاران آموزشی بر ارزیابی­های بین‌المللی مانند آزمون‌های تیمز و پیرلز و آزمون­های ملی مثل آزمون‌های استخدامی و آموزش عالی، عدم‌توجه به منابع DIF می­تواند منجر به استنباط­هایی اشتباه در مقایسه نمرات آزمون­ها شود. سیاست‌گذاران باید هنگام تصمیم­گیری در مورد برنامه درسی، منابع یا آموزش بر مبنای هر مقایسه مستقیم با استفاده از سؤال‌های آزمون­ها، بسیار مراقب باشند. روایی مقایسه بین گروه­ها همیشه باید قبل از مقایسه نمرات، بررسی شود.

پیشنهادها

1- سازندگان آزمون لازم است در هنگام ساخت آزمون توجه کامل به ویژگی­های سؤال نمایند خصوصاً اینکه تقریباً در تمامی مقالات موردبررسی، معناداری این عوامل تأیید شده است و بهتر است آزمون­هایی طراحی کنند که شامل سؤال‌هایی با نسبت متعادل بارهای شناختی بالاتر نسبت به بارهای شناختی پایین­تر باشند.

2- یکی از محدودیت­های مطالعات انطباق آزمون این است که تنها شامل دو زبان است. تکرار این مطالعات با استفاده از زبان­های دیگر و انجام تحلیل­های همزمان DIF چندگانه بین چندین زبان، راه‌حل پیشنهادی برای تحقیقات آینده است.

3- تحقیقات آینده می­تواند بر متغیرهایی که به‌طور مستقیم مربوط به زمینه­های آزمون است، مثل تفاوت در دانش تئوری دانش­آموزان، مهارت­های آزمون دادن، استفاده از ماشین‌حساب یا نگرش نسبت به ریاضیات، متمرکز شود. در سنجش­های چندزبانه، هم­ارزی سؤال‌ها برای مقایسه گروه­ها بیشتر توسط نسخه­های چندزبانه آزمون تحت چالش قرار می­گیرد.

4- اظهارات صریح در مورد ابعاد اولیه و ثانویه مربوط به سؤال‌های آزمون توسط سازندگان آزمون می­تواند در فرضیه­سازی DIF در سؤال‌های چندبعدی کمک کند و امکان آزمون فرضیه­ها را به‌طور کامل فراهم نماید.

5- انجام مطالعه­ای که هم بر شناسایی منابع DIF و هم بر انتخاب راهبرد مناسب برای بررسی تأثیر منابع شناسایی‌شده تمرکز داشته باشد، مطالعه­ای جامع در زمینه منابع DIF محیا خواهد نمود.