لماذا اختلفت درجات المحكّمين على الطبق نفسه؟
بروتوكول دراسة ميدانية ومثال حسابي افتراضي يوضح كيف نقرأ الفروق بين الدرجات.
بروتوكول دراسة · أحمد عصام المعدراني
حالة البيانات · الأرقام التالية افتراضية للتوضيح. النتائج الميدانية بانتظار بيانات مجهّلة ومصرّح باستخدامها.
السؤال ووحدة القياس
هل يتكرر فرق الدرجة لدى محكّم بعينه، أم يظهر في حصص أو أوقات تقديم بعينها؟ وحدة التحليل هي درجة محكّم واحد لحصة محددة وفق معيار معلن. تُسجّل درجات البنود منفصلة قبل حساب الدرجة الكلية.
تصميم الجولة وجمع البيانات
تُحضّر حصص مرمّزة من الدفعة نفسها بأوزان متقاربة. يُدوّن ترتيب التقديم، ووقت الانتظار، وحرارة التقديم عند إمكان قياسها. يُبدّل ترتيب العينات بين المحكّمين ما أمكن، ويقيّم كل محكّم بصورة مستقلة. تُحفظ الدرجات والملاحظات الأولية قبل أي نقاش.
التحليل المقترح
نحسب الفرق بين أعلى وأدنى درجة لكل عينة ولكل بند، ونقارن الاتجاه عبر عينات متعددة. تُعرض الدرجات الناقصة كما هي. عند وجود فرق ملحوظ نراجع ملاحظات المحكّمين وسجل التقديم قبل اقتراح تفسير. ومن المهم تمييز وصف الفروق عن إثبات سببها.
قراءة المثال وحدود الاستنتاج
في العينة أ، الفرق 8 − 6 = نقطتان. وفي العينة ب، الفرق 8 − 7 = نقطة واحدة. هذا الفرق الحسابي يصف التشتت في المثال فحسب. قد ترتبط الفروق بتفسير السلم أو تفاوت الحصص أو ظروف التقديم. لن تُعرض نتيجة ميدانية حتى تتوفر بيانات مصرح بها ومراجعة اختصاصية موثقة.
| المحكّم | A | B |
|---|---|---|
| 1 | 8 | 7 |
| 2 | 7 | 8 |
| 3 | 6 | 7 |
التحضير للجلسة الميدانية الأولى
- قبل الجلسة، اتفقوا على البنود وسلّم الدرجات ووحّدوا تعريف كل بند. سجّلوا موافقة الجهة المعنية على استخدام البيانات قبل أي نشر.
- ابدؤوا بتجربة تشغيلية من ثلاثة محكّمين وعينتين مرمّزتين. استخدموا رموزًا عشوائية للمحكّمين والعينات، وبدّلوا ترتيب التقديم قدر الإمكان.
- سطر واحد لكل محكّم وعينة وبند. سجّلوا الدرجة وتعليلها قبل نقاش اللجنة. تُسجّل مدة الانتظار بالدقائق والحرارة بالدرجة المئوية عند القياس. اتركوا القياس غير المتوفر فارغًا.
- راجعوا السجل لاكتشاف الدرجات المكررة أو الناقصة، ثم احسبوا نطاق الدرجات لكل عينة وبند. تُستخدم الجلسة التجريبية لاختبار سير العمل، وتحتاج النتائج القابلة للتعميم إلى تصميم أوسع.