寫(xiě)作評(píng)分中評(píng)分員因素的多側(cè)面Rasch模型分析.pdf

1、本篇論文采用基于現(xiàn)代項(xiàng)目反應(yīng)理論（IRT）的多側(cè)面Rasch 模型來(lái)研究四種評(píng)分員因素：嚴(yán)厲度/寬松度、評(píng)分不穩(wěn)定、光環(huán)效應(yīng)以及集中趨勢(shì)對(duì)評(píng)分的影響。本文從湖南大學(xué)美雅學(xué)院ESL國(guó)際項(xiàng)目的寫(xiě)作試卷中隨機(jī)抽出30份試卷并由9位評(píng)分員進(jìn)行評(píng)分。評(píng)分采用的量表為Jacob的7級(jí)分項(xiàng)評(píng)分量表，從“內(nèi)容”、“結(jié)構(gòu)”、“語(yǔ)言”、“詞匯”、以及“寫(xiě)作規(guī)范”五個(gè)評(píng)分維度對(duì)考生的寫(xiě)作水平進(jìn)行考察。所得的數(shù)據(jù)由多側(cè)面Rasch模型的FACETS軟件包進(jìn)行分

2、析。多側(cè)面Rasch 模型基于現(xiàn)代項(xiàng)目反應(yīng)理論，以考生的心理特質(zhì)為依據(jù)進(jìn)行建模，運(yùn)用項(xiàng)目反應(yīng)函數(shù)預(yù)測(cè)考生在考試中的表現(xiàn)，有別于經(jīng)典真分?jǐn)?shù)理論框架下的對(duì)原始分進(jìn)行觀測(cè)分析而得出結(jié)論的方法。研究首先用多側(cè)面Rasch模型對(duì)單個(gè)評(píng)分員的評(píng)分嚴(yán)厲度以及光環(huán)效應(yīng)進(jìn)行了分析，然后運(yùn)用多側(cè)面Rasch模型的偏差分析來(lái)探討評(píng)分員在不同的寫(xiě)作任務(wù)和不同的評(píng)分維度上的評(píng)分是否保持了穩(wěn)定性。最后通過(guò)假設(shè)各個(gè)評(píng)分員有獨(dú)立的評(píng)分量表，由此建立模型以分析評(píng)分員的集

3、中趨勢(shì)。 通過(guò)分析，本研究得出以下發(fā)現(xiàn)： 1）評(píng)分員的嚴(yán)厲度水平有著顯著性的差異。其中9號(hào)評(píng)分員的嚴(yán)厲度水平是最高的，而5號(hào)評(píng)分員的嚴(yán)厲度水平是最低的。 2）所有評(píng)分員在評(píng)閱不同的寫(xiě)作任務(wù)時(shí)保持了內(nèi)在的一致性，但在評(píng)閱不同的評(píng)分維度時(shí)卻表現(xiàn)出了評(píng)分不一致的情況； 3）1號(hào)和2號(hào)評(píng)分員在評(píng)分時(shí)表現(xiàn)出顯著的光環(huán)效應(yīng)，即他們傾向于在5個(gè)維度上給出相似的分?jǐn)?shù)。其他的7位評(píng)分員都能較好的區(qū)分5個(gè)評(píng)分維度的差異。

4、 4）4號(hào)評(píng)分員和6號(hào)評(píng)分員沒(méi)有用評(píng)分量表的全距進(jìn)行評(píng)分，1號(hào)評(píng)分員、4號(hào)評(píng)分員、以及6號(hào)評(píng)分員表現(xiàn)出明顯的集中趨勢(shì)。 基于以上研究，本文的研究對(duì)如何改善和提高寫(xiě)作評(píng)分中的評(píng)分員信度有著重要的意義。首先可以改善評(píng)分量表，對(duì)評(píng)分量表有歧義或者欠詳細(xì)的部分進(jìn)行修改；其次，由于本模型可以考察單個(gè)評(píng)分員的表現(xiàn)，因而它可以為評(píng)分員的選拔提供參考，再次，對(duì)于評(píng)分不準(zhǔn)確的評(píng)分員，可以做進(jìn)一步的培訓(xùn)或者加以替換，最后，對(duì)于高風(fēng)險(xiǎn)的大規(guī)模測(cè)試