量表的信度與效度分析計算

1、量表的信度與效度計算分析,一、信度（reliability）定義若重復(fù)進行測量，產(chǎn)生相同結(jié)果的準確程度 測量的可靠性、穩(wěn)定性和預(yù)測性 測量的精確度 反復(fù)測量結(jié)果的穩(wěn)定性或一致性可能很高 但卻可能是不準確的 用零點沒有調(diào)整在中心的秤來測量重量 采用有明顯導(dǎo)向性的問答題組成的量表測量態(tài)度,二、效度（validity）定義 所測量的是不是研究者所想要的 在多大程度上給出了他/她

2、所想要的例如，研究者希望測量電視廣告的傳播效果目的：了解廣告能否引起目標消費群的購買欲望 消費者的購物決策是否與觀看的電視廣告相關(guān)如果：最終測得的不是廣告對消費者購物決策的影響 而主要是消費者對廣告藝術(shù)感染力的評價結(jié)論：所用量表是無效的或是效度很低的,信度高時效度不一定高 但效度高時信度一定高,從三個方面來分析測量的信度 穩(wěn)定性 (stability) 內(nèi)在一致性 (internal consis

3、tency) 等價性 (equivalency),三、信度評價,1、穩(wěn)定性分析 也叫做測驗--再測驗法目的： 考察對于同樣的問答題（或測試） 對同一組被訪者或受測試者 前后兩次測量的結(jié)果是否基本一致,1、穩(wěn)定性分析方法： 用“再測信度”來測量穩(wěn)定性再測信度：兩次測量結(jié)果間的相關(guān)系數(shù) 相關(guān)系數(shù)越接近 1，表示穩(wěn)定性越好,1、穩(wěn)定性分析缺點：一般應(yīng)用中很難真正實現(xiàn)（人力、財力、時間

4、）再測信度的應(yīng)用有局限性 第一次的測量可能會影響到第二次（信度偏高） 兩次測量間客觀的情況可能有變化（信度偏低）,2、內(nèi)在一致性分析 目的：檢驗多項目量表中各個項目的一致性 可信的量表的項目必須具有內(nèi)在一致性,2、內(nèi)在一致性分析方法之一：折半法 (split-half technique) 將量表中的項目分成兩半 計算這兩部分的總得分的相關(guān)系數(shù)rh 如果量表具有較

5、高的內(nèi)在一致性 那么這兩部分應(yīng)該是高度相關(guān)的,2、內(nèi)在一致性分析方法之一：折半法 (split-half technique)優(yōu)點：不需要重復(fù)的測量常用分法：按項目號的前后順序分 或按項目號的奇偶性分計算公式： ru = 2rh / (1 + rh),2、內(nèi)在一致性分析方法之一：折半法 (split-half technique)注意：需先將量表中的反意題作逆向處理

6、 再分別計算兩部分的總得分前提假設(shè)：兩半題項得分方差大致相等 否則可能會低估信度系數(shù),2、內(nèi)在一致性分析方法之二：alpha信度系數(shù)法 克朗巴哈提出用α系數(shù)來測量累加量表的信度 α= K (1 - Σσi2/σT2)/(K-1) K 量表中題（項目）的總數(shù) σi2 第i個題（項目）得分的題內(nèi)方差 Σσi2 K個題項的方差之和

7、 σT2 總得分（所有題項得分之和）的方差α信度系數(shù)是評估量表內(nèi)部一致性的比較常用系數(shù),2、內(nèi)在一致性分析方法之三：平均相關(guān)系數(shù)法缺點：偏重于項目之間的相關(guān) 而不是整個量表的信度 項目越多，平均相關(guān)系數(shù)就可能越高提高信度的方法之一： 增加量表中的測量項目 因為各個項目的隨機誤差可能會相互抵消,2、內(nèi)在一致性分析小結(jié)： 信度的高低既依賴于項目的內(nèi)在一致性 也依賴于量表的長度

8、因此： 一方面盡量設(shè)計內(nèi)在相關(guān)性更高的項目 另一方面也可以考慮適當(dāng)增加項目的數(shù)量,3、等價性分析A 當(dāng)使用兩種不同的量表去測量同一概念時，這兩種量表是否等價？ 方法：在同一時段中，讓同一組被訪者接受兩種量表的測試；計算兩組得分之間的相關(guān)，用于評價信度B 當(dāng)兩個評分者（或編碼員）判斷同一現(xiàn)象時，評價結(jié)果是否一致？ 方法：計算兩個評分者評分之間的相關(guān)；或計算兩個編碼員編碼結(jié)果一致的比例，用于評價信度,3、等價性分析 前一

9、種應(yīng)用A比較少見（構(gòu)造等價的量表非常困難） 后一種應(yīng)用B比較常見，也稱為 評分者內(nèi)在信度 (inter-rater reliability) 編碼員間信度 (inter-coder reliability),3、等價性分析在內(nèi)容分析中，要評價編碼員間信度 編碼：將分析單位（如單詞、符號、主題等） 置于各種內(nèi)容類別中 不同的編碼者獨立地編碼 如果能得到比較一致的結(jié)

10、果 則信度較高,3、等價性分析--編碼者間信度的計算公式霍斯提(Holsti)公式 假定兩個編碼員分別同時做了m1和m2個單位的編碼，其中一致的編碼數(shù)為m，則 編碼者間信度 = 2m / (m1 + m2),3、等價性分析--編碼者間信度的計算公式霍斯提(Holsti)公式優(yōu)點：計算簡單、易于操作缺點：信度的大小可能與編碼時所用的類別的數(shù)目有關(guān) 類別的數(shù)目越少，由于偶然性而造成一致的

11、可能性就越大 編碼問題都是兩個類別時，隨機的編碼也可能有50%的信度 在五個類別的情況，隨機的編碼就只可能有20%左右的信度,3、等價性分析--編碼者間信度的計算公式史考特(Scott)指數(shù)編碼員間信度π = (πo - πe)/(1 - πe) πo：觀測到的一致性或叫實際一致性（用霍斯提公式計算）πe：純粹由于偶然性而造成的一致性或叫期望一致性 （等于每個類別出現(xiàn)的相對頻率的平方和）,3

12、、等價性分析--編碼者間信度的計算公式 利用霍斯特公式計算時，一般信度在90%或以上 利用史考特公式計算時，信度大都是75%或以上考察編碼員內(nèi)(intra-coder)信度時 讓同一個編碼員在不同的時間內(nèi)對同一個資料編碼兩次 然后借助以上公式計算編碼-再編碼信度 將上式中對應(yīng)兩個編碼員的數(shù)據(jù)， 改為同一編碼員的兩次數(shù)據(jù),例 在一項少兒電視節(jié)目內(nèi)容分析的編碼表中，兩個編碼員分別同時獨立地將100個少兒節(jié)目分配

13、到如下三個類別中：1、單本劇 2、連續(xù)劇 3、系列劇。已知編碼不一致的節(jié)目共計8個；這三個類別的節(jié)目數(shù)分別占30%、45%和25%。試分別利用霍斯提和史考特公式，評價這兩個編碼員編碼的等價性。解： m1= m2 =100, m = 100-8 = 92霍斯提信度 = 2m/(m1 + m2)=2(92)/(100+100)=0.92 πo = 0.92, πe = (0.30)2+(0.45)2+(0.25)2=0

14、.355史考特信度π = (πo - πe)/(1 - πe) = (0.92-0.355)/(1-0.355) = 0.876,,效度主要有三種類型： 內(nèi)容效度 (content validity) 效標效度 (criterion validity) 結(jié)構(gòu)效度 (construct validity),四、效度評價,1、內(nèi)容效度 也叫做表面效度(face validity) 用最簡單的也

15、是最基本的主觀判斷的方法 一般根據(jù)測量量表所選的題項來判斷 僅從表面上來觀察判斷其是否能夠代表想 要測量的內(nèi)容或主題,1、內(nèi)容效度 盡量收集和閱讀與測量內(nèi)容有關(guān)的資料 除了研究人員的主觀判斷之外 最好再請一些專家來幫助判斷,1、內(nèi)容效度單項與總和相關(guān)效度分析法 確定各個具體的題項對整個量表的效度是否 都有足夠的貢獻 或考察量表內(nèi)的題項是否具有同質(zhì)性 計算每個題項的得分與總分的相關(guān)系數(shù) 如果相關(guān)不顯著，表示

16、該題項的鑒別力低，最好剔除 題項與總和的相關(guān)關(guān)系越顯著，量表的內(nèi)容效度也越高,1、內(nèi)容效度例如，1993年卜衛(wèi)等在廈門受眾調(diào)查問卷中（見“媒介·人·現(xiàn)代化”），設(shè)計了一個四級李克動機量表，以測試廈門受眾的媒介使用動機。表中的受眾媒介動機量表就是剔除了不合格題項后的量表，表中的各個題項的得分與總分都是顯著相關(guān)的（概值P≤0.001），說明量表內(nèi)的各個題項之間具有較好的同質(zhì)性。,2、效標效度 也叫做效標關(guān)聯(lián)效

17、度或獨立標準效度 效標是一個與量表有密切關(guān)聯(lián)的獨立標準 將量表所測特性看成因變量 將效標看成自變量 所測特性與效標密切相關(guān)的量表 才是有效的量表,2、效標效度的分析方法 考察所測特性（因變量）與效標（自變量） 是否有顯著的相關(guān) (相關(guān)分析) 或是對效標的不同取值，特性的值是否表 現(xiàn)出顯著的差異 (t檢驗、F檢驗） 效標的確定并不是一件容易的事 選擇效標一般要根據(jù)某種已知的理論、

18、或 某種已經(jīng)得到肯定的結(jié)論,2、效標效度的舉例 用高考的成績，作為預(yù)測學(xué)生大學(xué)期間學(xué)業(yè)成績的效標 （是否有研究結(jié)果表明，這兩者之間是有密切相關(guān)關(guān)系的） 設(shè)計測量人們現(xiàn)代化觀念的量表時，媒介接觸行為可 能是主要的效標之一 （很難設(shè)想不看報、不聽廣播的人會具有現(xiàn)代化的觀念） 可考慮以媒介接觸頻度、時間、內(nèi)容等為具體的效標,2、效標效度的舉例 臺灣的“蘭嶼民眾傳播行為與現(xiàn)代化程度之研究”, 用離島

19、經(jīng)驗作為測量雅美族人現(xiàn)代化程度的效標 有、無離島經(jīng)驗的雅美族人之間 現(xiàn)代化程度有明顯差異的量表 才有可能是高效度的量表 要剔除那些沒有顯著差異的低效度的題項,3、結(jié)構(gòu)效度 評價量表測量的結(jié)果是否與理論假設(shè)或框架相關(guān) 稱能測出結(jié)構(gòu)的量表為具有高的結(jié)構(gòu)效度的量表 因子分析法 (factor analysis) 評價量表中的各個題項能否有效地區(qū)分研究對象 各題項能否有效地鑒別態(tài)度

20、不同的被訪者？ 題項內(nèi)容的難易度是否合適？ 項目分析法 (item analysis),3、結(jié)構(gòu)效度---因子分析法 因子分析法是一種高級的統(tǒng)計分析法 將量表中的題項集合成不同的群 使每一個群的變量（題項）共享一個公共因子 這些公共因子就代表了量表的基本結(jié)構(gòu) 考察這些公共因子的意義 比較量表的實際結(jié)構(gòu)與理論框架之間的異同 若兩者相吻合，且提取的公共因子有足夠的代表性 則說明該測

21、量量表具有令人滿意的結(jié)構(gòu)效度,3、結(jié)構(gòu)效度---因子分析法舉例 對測量動機的量表進行了因子分析 （參考“媒介●人●現(xiàn)代化”） 結(jié)果將受眾使用媒介動機分成了三類 信息尋求動機、娛樂消遣動機、社會功利動機 與研究者設(shè)計量表時假設(shè)的結(jié)構(gòu)一致 說明這一動機量表具有很好的結(jié)構(gòu)效度,3、結(jié)構(gòu)效度---項目分析法 （難易度）量表中各個題項的“難易度”和“鑒別度” 難易度=(PH+PL)/2

22、 PH和PL分別表示高分組和低分組的通過率,3、結(jié)構(gòu)效度---項目分析法 （難易度）通過率的計算方法： 將反向題作逆向處理后，計算累加量表的總分 總分按由小到大的順序排列，劃分成人數(shù)相等的四個組 分數(shù)最高和最低的兩個組分別為“高分組”和“低分組” 計算這兩組的被訪者在每個題項上的“通過率” PH和PL 正向題的通過率=（“非常同意”+“比較同意”）的比例 逆向題的通過率

23、=（“很不同意”+“不太同意”）的比例,3、結(jié)構(gòu)效度---項目分析法 （難易度）通過率的意義 對于正向題，表示持肯定、積極態(tài)度的比例 對于反向題，表示持否定、消極態(tài)度的比例某題項的難易度=高分組和低分組通過率的均值 難易度越大，表示該題項越“容易通過” 態(tài)度量表取難易度適中(0.5左右)的情況較多,3、結(jié)構(gòu)效度---項目分析法 （鑒別度） 量表中各個題項對所測特性的區(qū)分能力 鑒別度= PH-P