Centre
Bruxellois de
Documentation
Pédagogique

Dépouillements

Application de l’indice lz pour l’élimination de données de recherche en langues / François Pichette in Mesure et évaluation en éducation [en ligne], n°1 (avril 2016)

Public ISBD [article]  inMesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 1/24 Titre : Application de l’indice lz pour l’élimination de données de recherche en langues Type de document : texte imprimé Auteurs : François Pichette, Auteur ; Sébastien Béland, Auteur ; Gilles Raîche, Auteur Année de publication : 2016 Article en page(s) : p. 1/24 Langues : Français (fre) Sujets : analyse de données ; évaluation en langues étrangères ; test Résumé : "L’indice de détection de patrons de réponses inappropriés lz (Drasgow, Levine & Williams, 1985) a été appliqué à un test d’habileté en lecture en langue seconde de 64 items soumis à 171 étudiants universitaires. L’objectif était de confronter un rejet intuitif de données de recherche à une élimination suggérée par lz. En outre, lz a été mis à l’épreuve pour détecter 12 participants additionnels ayant répondu par pseudo-hasard. Les résultats suggèrent que, bien que lz détecte efficacement des patrons de réponses aberrants pour de grands groupes et qu’il soit préférable à l’élimination intuitive, cet indice présente des limites pour l’analyse de plus petites matrices de données." Note de contenu : Plan : Introduction Cadre théorique Méthodologie Participants Instrument Technique de vérification de phrases Technique de vérification de phrases modifiée Déroulement Méthode d’analyse des résultats Considérations éthiques Résultats Comparaison entre élimination intuitive et élimination par lz Réponses par pseudo-hasard à la lumière de lz Discussion Comparaison entre élimination intuitive et par l’indice lz Réponses par pseudo-hasard à la lumière de lz Examen d’indépendance des items grâce au pseudo-hasard Conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334 [article] Application de l’indice lz pour l’élimination de données de recherche en langues [texte imprimé] / François Pichette, Auteur ; Sébastien Béland, Auteur ; Gilles Raîche, Auteur . - 2016 . - p. 1/24. Langues : Français (fre) in Mesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 1/24 Sujets : analyse de données ; évaluation en langues étrangères ; test Résumé : "L’indice de détection de patrons de réponses inappropriés lz (Drasgow, Levine & Williams, 1985) a été appliqué à un test d’habileté en lecture en langue seconde de 64 items soumis à 171 étudiants universitaires. L’objectif était de confronter un rejet intuitif de données de recherche à une élimination suggérée par lz. En outre, lz a été mis à l’épreuve pour détecter 12 participants additionnels ayant répondu par pseudo-hasard. Les résultats suggèrent que, bien que lz détecte efficacement des patrons de réponses aberrants pour de grands groupes et qu’il soit préférable à l’élimination intuitive, cet indice présente des limites pour l’analyse de plus petites matrices de données." Note de contenu : Plan : Introduction Cadre théorique Méthodologie Participants Instrument Technique de vérification de phrases Technique de vérification de phrases modifiée Déroulement Méthode d’analyse des résultats Considérations éthiques Résultats Comparaison entre élimination intuitive et élimination par lz Réponses par pseudo-hasard à la lumière de lz Discussion Comparaison entre élimination intuitive et par l’indice lz Réponses par pseudo-hasard à la lumière de lz Examen d’indépendance des items grâce au pseudo-hasard Conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334

Éclairer les performances par une analyse après coup pour évaluer des compétences professionnelles / Florent Chenu in Mesure et évaluation en éducation [en ligne], n°1 (avril 2016)

Public ISBD [article]  inMesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 23/44 Titre : Éclairer les performances par une analyse après coup pour évaluer des compétences professionnelles Type de document : texte imprimé Auteurs : Florent Chenu, Auteur Année de publication : 2016 Article en page(s) : p. 23/44 Langues : Français (fre) Sujets : Compétences Professionnelles ; didactique professionnelle ; évaluation des compétences Résumé : "Est-il pertinent, pour évaluer des compétences professionnelles, d’observer un individu évalué dans une situation de travail, puis de s’entretenir avec lui à propos de son activité dans cette situation ? La question posée dans cet article s’inscrit dans le cadre théorique proposé par la didactique professionnelle. Elle interroge l’intérêt d’une méthodologie d’évaluation des compétences professionnelles qui, au-delà de l’observation d’une performance dans une situation donnée, tente de pronostiquer la « répétabilité » de celle-ci en examinant après coup les raisonnements mis en oeuvre dans cette situation. C’est dans cette perspective que nous avons mené une étude expérimentale sur la relation entre performance et conceptualisation. Cet article présente les résultats de cette étude. Nos travaux ont été conduits dans le domaine de l’utilisation professionnelle du traitement de texte, mais ouvrent le questionnement sur des considérations dont l’intérêt dépasse ce contexte particulier." Note de contenu : Plan : Introduction L’évaluation valide des compétences : une question de recherche Dispositif expérimental Contenu des discours des participants Lien entre performance et conceptualisation Conclusion Principaux résultats Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334 [article] Éclairer les performances par une analyse après coup pour évaluer des compétences professionnelles [texte imprimé] / Florent Chenu, Auteur . - 2016 . - p. 23/44. Langues : Français (fre) in Mesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 23/44 Sujets : Compétences Professionnelles ; didactique professionnelle ; évaluation des compétences Résumé : "Est-il pertinent, pour évaluer des compétences professionnelles, d’observer un individu évalué dans une situation de travail, puis de s’entretenir avec lui à propos de son activité dans cette situation ? La question posée dans cet article s’inscrit dans le cadre théorique proposé par la didactique professionnelle. Elle interroge l’intérêt d’une méthodologie d’évaluation des compétences professionnelles qui, au-delà de l’observation d’une performance dans une situation donnée, tente de pronostiquer la « répétabilité » de celle-ci en examinant après coup les raisonnements mis en oeuvre dans cette situation. C’est dans cette perspective que nous avons mené une étude expérimentale sur la relation entre performance et conceptualisation. Cet article présente les résultats de cette étude. Nos travaux ont été conduits dans le domaine de l’utilisation professionnelle du traitement de texte, mais ouvrent le questionnement sur des considérations dont l’intérêt dépasse ce contexte particulier." Note de contenu : Plan : Introduction L’évaluation valide des compétences : une question de recherche Dispositif expérimental Contenu des discours des participants Lien entre performance et conceptualisation Conclusion Principaux résultats Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334

Une théorie des seuils psychométriques à double contrôle d’erreur. Partie 2, L’erreur de mesure et le concept de norme sûre / Louis Laurencelle in Mesure et évaluation en éducation [en ligne], n°1 (avril 2016)

Public ISBD [article]  inMesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 45/66 Titre : Une théorie des seuils psychométriques à double contrôle d’erreur. Partie 2, L’erreur de mesure et le concept de norme sûre Type de document : texte imprimé Auteurs : Louis Laurencelle, Auteur Année de publication : 2016 Article en page(s) : p. 45/66 Langues : Français (fre) Sujets : test psychométrique Mots-clés : seuil psychométrique  erreur de mesure Résumé : "La décision psychométrique qui consiste à décréter qu’un candidat, évalué par un test et dont le score est confronté à une norme, « passe » ou « ne passe pas » fait face à deux incertitudes, deux sources d’erreur : l’erreur de mesure, reflétée par le coefficient de fidélité du test et modifiant peu ou prou la valeur vraie du candidat, et la variabilité échantillonnale de la norme, celle-ci étant ordinairement basée sur un échantillon et présentant sa propre distribution d’erreur. À la suite de l’examen de l’incertitude de la norme et de son contrôle (Laurencelle, 2015), nous abordons ici l’erreur de mesure et son interaction avec l’incertitude de la norme, puis nous intégrons les deux dans un système mathématique basé principalement sur la loi normale. La probabilité que soit sélectionné un candidat non méritant ou non qualifié peut être calculée, tout comme celle qu’un candidat qualifié soit rejeté. Nous proposons enfin le concept et la méthodologie de la « norme sûre » (Laurencelle, 2002), laquelle permet de contrôler statistiquement le risque d’une erreur de décision." Note de contenu : Plan : Introduction L’erreur de mesure et sa distribution La mesure X confrontée à une norme stable Incertitude du seuil CP + erreur de mesure sur le score X Norme linéaire normale Norme ordinale normale Le contrôle de l’erreur de sélection maximale et la norme sûre Normes sûres exigeantes ou permissives Sensibilité et spécificité des normes Effets de la taille n et de la fidélité R Effets de la forme de distribution réelle des données Exemples et discussion Épilogue et conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334 [article] Une théorie des seuils psychométriques à double contrôle d’erreur. Partie 2, L’erreur de mesure et le concept de norme sûre [texte imprimé] / Louis Laurencelle, Auteur . - 2016 . - p. 45/66. Langues : Français (fre) in Mesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 45/66 Sujets : test psychométrique Mots-clés : seuil psychométrique  erreur de mesure Résumé : "La décision psychométrique qui consiste à décréter qu’un candidat, évalué par un test et dont le score est confronté à une norme, « passe » ou « ne passe pas » fait face à deux incertitudes, deux sources d’erreur : l’erreur de mesure, reflétée par le coefficient de fidélité du test et modifiant peu ou prou la valeur vraie du candidat, et la variabilité échantillonnale de la norme, celle-ci étant ordinairement basée sur un échantillon et présentant sa propre distribution d’erreur. À la suite de l’examen de l’incertitude de la norme et de son contrôle (Laurencelle, 2015), nous abordons ici l’erreur de mesure et son interaction avec l’incertitude de la norme, puis nous intégrons les deux dans un système mathématique basé principalement sur la loi normale. La probabilité que soit sélectionné un candidat non méritant ou non qualifié peut être calculée, tout comme celle qu’un candidat qualifié soit rejeté. Nous proposons enfin le concept et la méthodologie de la « norme sûre » (Laurencelle, 2002), laquelle permet de contrôler statistiquement le risque d’une erreur de décision." Note de contenu : Plan : Introduction L’erreur de mesure et sa distribution La mesure X confrontée à une norme stable Incertitude du seuil CP + erreur de mesure sur le score X Norme linéaire normale Norme ordinale normale Le contrôle de l’erreur de sélection maximale et la norme sûre Normes sûres exigeantes ou permissives Sensibilité et spécificité des normes Effets de la taille n et de la fidélité R Effets de la forme de distribution réelle des données Exemples et discussion Épilogue et conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334

La catégorisation des élèves par les enseignants : une étude critique des propositions de Hofer / Philippe Wanlin in Mesure et évaluation en éducation [en ligne], n°1 (avril 2016)

Public ISBD [article]  inMesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 67/94 Titre : La catégorisation des élèves par les enseignants : une étude critique des propositions de Hofer Type de document : texte imprimé Auteurs : Philippe Wanlin, Auteur ; Marie-Louise Aliprandi, Auteur ; Angela Mossaz, Auteur ; Malika Revilloud, Auteur Année de publication : 2016 Article en page(s) : p. 67/94 Langues : Français (fre) Sujets : jugement (en évaluation) Résumé : "Notre contribution présente les recherches de Hofer (1981, 1986) qui se sont intéressées aux catégories d’élèves contenues dans le répertoire cognitif des enseignants. Elle se penche plus spécifiquement sur l’approche utilisée par cet auteur afin d’en extraire la méthodologie, dont nous avons fait usage notamment à l’aide des approches utilisées dans les recherches sur la catégorisation des objets et des personnes (Sternberg, 2007 ; Reed, 2011). Neuf enseignantes genevoises du primaire ont participé à notre dispositif de recherche, qui poursuit deux objectifs : (a) vérifier la pertinence du recours à une méthode statistique, soit l’analyse par grappes (cluster analysis), pour identifier les catégories d’élèves disponibles dans le bagage cognitif des enseignants, et (b) examiner si la structure interne centrale-périphérique de catégories isolées de connaissances que Hofer pense démontrer n’est pas le produit des algorithmes statistiques qu’il utilise. Nous concluons par une discussion sur nos résultats concernant la méthodologie et les perspectives de recherche." Note de contenu : Plan : Introduction Les travaux de Hofer Les regroupements d’élèves du secondaire selon les jugements de leurs enseignants Les regroupements d’élèves du primaire selon les jugements de leurs enseignants La tendance au regroupement comme artifice statistique La structure interne des grappes d’élèves Méthode Les participants Les tâches et la procédure Étude 1 : jugements des élèves par les enseignantes et analyse par grappes Étude 2 : classement des élèves dans les grappes par les enseignantes Étude 3 : regroupements libres des élèves Les traitements statistiques Résultats Étude 1 : application de la méthode de Hofer à nos données La vérification de la pertinence de la méthode de mise en grappes de scores de jugements Données de l’étude 2 : classement des élèves dans les grappes par les enseignantes Données de l’étude 3 : analyse des regroupements libres des élèves et de leur recouvrement avec les grappes obtenues dans l’étude 1 La vérification de l’hypothèse de l’organisation centrale- périphérique des grappes La perception de la typicalité des élèves aux grappes a. Données de l’étude 2 : grappes de jugements b. Données de l’étude 3 : grappes de regroupement Études 2 et 3 : comparaison des degrés de typicité des élèves Discussion et conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334 [article] La catégorisation des élèves par les enseignants : une étude critique des propositions de Hofer [texte imprimé] / Philippe Wanlin, Auteur ; Marie-Louise Aliprandi, Auteur ; Angela Mossaz, Auteur ; Malika Revilloud, Auteur . - 2016 . - p. 67/94. Langues : Français (fre) in Mesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 67/94 Sujets : jugement (en évaluation) Résumé : "Notre contribution présente les recherches de Hofer (1981, 1986) qui se sont intéressées aux catégories d’élèves contenues dans le répertoire cognitif des enseignants. Elle se penche plus spécifiquement sur l’approche utilisée par cet auteur afin d’en extraire la méthodologie, dont nous avons fait usage notamment à l’aide des approches utilisées dans les recherches sur la catégorisation des objets et des personnes (Sternberg, 2007 ; Reed, 2011). Neuf enseignantes genevoises du primaire ont participé à notre dispositif de recherche, qui poursuit deux objectifs : (a) vérifier la pertinence du recours à une méthode statistique, soit l’analyse par grappes (cluster analysis), pour identifier les catégories d’élèves disponibles dans le bagage cognitif des enseignants, et (b) examiner si la structure interne centrale-périphérique de catégories isolées de connaissances que Hofer pense démontrer n’est pas le produit des algorithmes statistiques qu’il utilise. Nous concluons par une discussion sur nos résultats concernant la méthodologie et les perspectives de recherche." Note de contenu : Plan : Introduction Les travaux de Hofer Les regroupements d’élèves du secondaire selon les jugements de leurs enseignants Les regroupements d’élèves du primaire selon les jugements de leurs enseignants La tendance au regroupement comme artifice statistique La structure interne des grappes d’élèves Méthode Les participants Les tâches et la procédure Étude 1 : jugements des élèves par les enseignantes et analyse par grappes Étude 2 : classement des élèves dans les grappes par les enseignantes Étude 3 : regroupements libres des élèves Les traitements statistiques Résultats Étude 1 : application de la méthode de Hofer à nos données La vérification de la pertinence de la méthode de mise en grappes de scores de jugements Données de l’étude 2 : classement des élèves dans les grappes par les enseignantes Données de l’étude 3 : analyse des regroupements libres des élèves et de leur recouvrement avec les grappes obtenues dans l’étude 1 La vérification de l’hypothèse de l’organisation centrale- périphérique des grappes La perception de la typicalité des élèves aux grappes a. Données de l’étude 2 : grappes de jugements b. Données de l’étude 3 : grappes de regroupement Études 2 et 3 : comparaison des degrés de typicité des élèves Discussion et conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334

Étude de nouveaux indices de détection de la réponse au hasard et de l’inattention selon différentes valeurs de l’habileté dans le contexte de la modélisation de Rasch / Sébastien Béland in Mesure et évaluation en éducation [en ligne], n°1 (avril 2016)

Public ISBD [article]  inMesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 95/118 Titre : Étude de nouveaux indices de détection de la réponse au hasard et de l’inattention selon différentes valeurs de l’habileté dans le contexte de la modélisation de Rasch Type de document : texte imprimé Auteurs : Sébastien Béland, Auteur ; Gilles Raîche, Auteur ; David Magis, Auteur ; Martin Riopel, Auteur Année de publication : 2016 Article en page(s) : p. 95/118 Langues : Français (fre) Sujets : inattention ; test Mots-clés : réponse au hasard  réponse à l'item Résumé : "Certains étudiants peuvent répondre au hasard ou être inattentifs dans une situation de testing. Plusieurs approches ont déjà été développées pour détecter ce type de réponse. Parmi celles-ci, l’utilisation d’indices de détection (person-fit indexes) de patrons de réponses inappropriés est l’approche qui est la plus étudiée et qui semble la plus prometteuse. Dans le cadre de cette étude, nous nous concentrons sur trois indices de détection populaires qui présentent des caractéristiques permettant d’en faciliter l’interprétation : lz, ZU et ZW. Des études antérieures ont montré que ces trois indices sont fortement affectés par le fait que l’habileté d’un étudiant est estimée plutôt que réelle. Snijders (2001) a proposé une version corrigée de l’indice lz (nommée lz*) afin de tenir compte de cette difficulté. Magis, Béland et Raîche (2014) ont déjà corrigé deux autres indices selon l’approche de Snijders : U* et W*. Il reste cependant à analyser plus en détail le comportement des indices corrigés lz*, U* et W* et des indices standardisés lz, ZU et ZW. Pour ce faire, nous effectuons deux études selon différentes valeurs de l’habileté, soit une analyse des erreurs de type I des indices (probabilité de se tromper en identifiant un patron de réponses inapproprié) et une analyse de leur puissance de détection. Ces analyses permettront de démontrer que ce sont généralement les indices corrigés lz* et W* qui sont les plus intéressants à utiliser puisque leurs scores suivent approximativement la loi normale et qu’ils permettent de bien détecter la réponse au hasard et l’inattention." Note de contenu : Plan : Introduction Cadre théorique Les indices de détection paramétriques Les indices de type vraisemblance Les indices de type carré moyen Les solutions déjà proposées pour tenir compte du fait que l’habileté doit être estimée La correction de Snijders Les indices U* et W* (Magis, Béland & Raîche, 2014) Méthodologie Les informations générales Les deux études Résultats Étude 1 Étude 2 Discussion Étude 1 Étude 2 Les limites Conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334 [article] Étude de nouveaux indices de détection de la réponse au hasard et de l’inattention selon différentes valeurs de l’habileté dans le contexte de la modélisation de Rasch [texte imprimé] / Sébastien Béland, Auteur ; Gilles Raîche, Auteur ; David Magis, Auteur ; Martin Riopel, Auteur . - 2016 . - p. 95/118. Langues : Français (fre) in Mesure et évaluation en éducation [en ligne] > n°1 (avril 2016) . - p. 95/118 Sujets : inattention ; test Mots-clés : réponse au hasard  réponse à l'item Résumé : "Certains étudiants peuvent répondre au hasard ou être inattentifs dans une situation de testing. Plusieurs approches ont déjà été développées pour détecter ce type de réponse. Parmi celles-ci, l’utilisation d’indices de détection (person-fit indexes) de patrons de réponses inappropriés est l’approche qui est la plus étudiée et qui semble la plus prometteuse. Dans le cadre de cette étude, nous nous concentrons sur trois indices de détection populaires qui présentent des caractéristiques permettant d’en faciliter l’interprétation : lz, ZU et ZW. Des études antérieures ont montré que ces trois indices sont fortement affectés par le fait que l’habileté d’un étudiant est estimée plutôt que réelle. Snijders (2001) a proposé une version corrigée de l’indice lz (nommée lz*) afin de tenir compte de cette difficulté. Magis, Béland et Raîche (2014) ont déjà corrigé deux autres indices selon l’approche de Snijders : U* et W*. Il reste cependant à analyser plus en détail le comportement des indices corrigés lz*, U* et W* et des indices standardisés lz, ZU et ZW. Pour ce faire, nous effectuons deux études selon différentes valeurs de l’habileté, soit une analyse des erreurs de type I des indices (probabilité de se tromper en identifiant un patron de réponses inapproprié) et une analyse de leur puissance de détection. Ces analyses permettront de démontrer que ce sont généralement les indices corrigés lz* et W* qui sont les plus intéressants à utiliser puisque leurs scores suivent approximativement la loi normale et qu’ils permettent de bien détecter la réponse au hasard et l’inattention." Note de contenu : Plan : Introduction Cadre théorique Les indices de détection paramétriques Les indices de type vraisemblance Les indices de type carré moyen Les solutions déjà proposées pour tenir compte du fait que l’habileté doit être estimée La correction de Snijders Les indices U* et W* (Magis, Béland & Raîche, 2014) Méthodologie Les informations générales Les deux études Résultats Étude 1 Étude 2 Discussion Étude 1 Étude 2 Les limites Conclusion Permalink : https://www.cocof-cbdp.irisnet.be/opac_css/index.php?lvl=notice_display&id=19334