1 / 21

ニューラルテスト理論に おける DIF 指標の提案

ニューラルテスト理論に おける DIF 指標の提案. 新潟大学全学教育機構 熊谷 龍一. DIF(特異項目機能)について. 「テストが測定しようとしている特性・能力が等しいにもかかわらず、所属する下位集団によって正答率が異なってしまう」 (例:知能検査での男女差). DIF(特異項目機能)について. DIF 検出の方法 Lord の χ 2 法 Thissen 他のデザイン行列による方法 BILOG-MG の DIF コマンド Mantel-Haenszel 法 SIBTEST … など. DIF(特異項目機能)について. ⇒  IRT の文脈では

nayda-cobb
Download Presentation

ニューラルテスト理論に おける DIF 指標の提案

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. ニューラルテスト理論におけるDIF指標の提案 新潟大学全学教育機構 熊谷 龍一

  2. DIF(特異項目機能)について 「テストが測定しようとしている特性・能力が等しいにもかかわらず、所属する下位集団によって正答率が異なってしまう」 (例:知能検査での男女差)

  3. DIF(特異項目機能)について DIF検出の方法 • Lordのχ2法 • Thissen他のデザイン行列による方法 • BILOG-MGのDIFコマンド • Mantel-Haenszel法 • SIBTEST…など

  4. DIF(特異項目機能)について ⇒ IRTの文脈では 「項目パラメタの不変性が下位集団で成立していない」 (渡辺・野口, 1999)

  5. NTTで表現すると…

  6. 本発表で提案する方法 • IRTの枠組みで提案されてきた熊谷・山口・小林(2005)および熊谷(2007)を,ニューラルテスト理論に応用する

  7. DIF指標の計算方法 1.データ行列の分解 Thissen, Steinberg, & Wainer(1993)によるデザイン行列の作成。

  8. 1.データ行列の分解 item 1 2 3 4 5 6 …  N Group1 Group2

  9. 1.データ行列の分解 item 1 2 4 5 6 …  N 3’ 3* 欠測値 Group1 欠測値 Group2

  10. 2.項目参照プロファイルの推定 1.で作成したデータファイルに対して,項目参照プロファイル(IRP)を推定する。

  11. 2.項目参照プロファイルの推定 item 1 2 4 5 6 …  N 3’ 3* DIFを検討したい項目については,2つのIRPが推定される(3’と3*)。 欠測値 Group1 欠測値 Group2

  12. 2.項目参照プロファイルの推定

  13. 2.項目参照プロファイルの推定 潜在ランク分布(latent rank distribution, LRD)

  14. 3.DIF指標の計算       ・・・潜在ランク数            ・・・集団1および集団2として推定した項目参照プロファイルでの潜在ランクqにおける項目正答確率       ・・・潜在ランクqにおける相対LRD(もしくは相対RMD)

  15. 正答確率差 正答確率差の期待値

  16. 指標の性能検討 • シミュレーションデータによるMantel-Haenszel法(以下M-H法)  との比較検討

  17. シミュレーションデータの作成 乱数による項目母数設定 (識別力:対数正規乱数,困難度:標準正規乱数) 15項目 50項目 50項目 2母数ロジスティック・モデル(IRT)における正答確率と一様乱数との比較による0-1データの作成 1000名 被験者母数θ 標準正規乱数 2セット作成 (100項目分のDIF項目) 1000名

  18. 結果 r = 0.92 α:共通オッズ比の推定値

  19. 結果 Roussos and Stout (1996)によるLarge or C-level DIF基準 ΔMH≧1.5

  20. 指標Kの特徴 • 正答率差の期待値として0~1の値で表現され,解釈が容易である。 • 実際にIRPを描くことで,どの集団のどのカテゴリにおいてDIFの影響が大きいのかを検討することができる。 • 3母集団以上のDIF検出に拡張が可能。

  21. 課題 • 計算量の多さ →専用のソフトウェアの開発 • Suspect item(DIFを検討する項目)とMatching item(DIFが生じていない項目)の切り分け  →purificationの確立

More Related