Pourquoi les juges ont-ils noté différemment le même plat ?
Protocole d’étude de terrain et exemple fictif pour interpréter les écarts de notes.
Protocole d’étude · Ahmad Issam Maadarani
Statut des données · Les chiffres ci-dessous sont fictifs. Les résultats de terrain attendent des données anonymisées et autorisées à la publication.
Question et unité d’analyse
Un écart se répète-t-il chez un juge ou sur certaines portions ou heures de service ? L’unité est la note donnée par un juge à une portion identifiée selon un critère annoncé. Les notes par critère sont recueillies avant le calcul de la note totale.
Organisation de la séance et collecte
Coder des portions de poids proche issues du même lot. Relever l’ordre de service, l’attente et, si elle est mesurable, la température. Varier l’ordre entre juges si possible. Chacun note de manière indépendante, et les observations initiales sont conservées avant la discussion.
Analyse prévue
Calculer l’étendue entre les notes extrêmes pour chaque échantillon et chaque critère, puis comparer les tendances. Signaler les notes manquantes. Examiner les observations et le relevé de service avant d’avancer une explication. Décrire l’écart et en établir la cause sont deux opérations distinctes.
Lecture et limites de l’exemple
L’étendue vaut 8 − 6 = 2 points pour A et 8 − 7 = 1 point pour B. Ces chiffres décrivent seulement la dispersion de l’exemple. Les écarts réels pourraient tenir à l’usage du barème, aux portions ou au service. Les résultats de terrain seront communiqués après obtention de données autorisées et d’une relecture spécialisée documentée.
| Juge | A | B |
|---|---|---|
| 1 | 8 | 7 |
| 2 | 7 | 8 |
| 3 | 6 | 7 |
Préparer la première séance de terrain
- Convenir des critères et du barème avant la séance et définir chaque critère de façon commune. Consigner l’autorisation d’utiliser les données avant publication.
- Commencer par un pilote de trois juges et deux échantillons codés. Utiliser des codes aléatoires et varier si possible l’ordre du service.
- Saisir une ligne par juge, échantillon et critère. Noter la note et sa justification avant la discussion. Relever l’attente en minutes et la température en degrés Celsius si elle est mesurée. Laisser vides les mesures indisponibles.
- Contrôler les doublons et les notes manquantes, puis calculer l’étendue par échantillon et critère. Le pilote sert à vérifier le déroulement. Toute généralisation exige un dispositif plus large.