不同關(guān)系的對(duì)話者間褒貶態(tài)度的語音表達(dá)與多模態(tài)感知研究.pdf

1、在語音學(xué)領(lǐng)域，對(duì)情感的研究有兩個(gè)特點(diǎn):一是從內(nèi)容上看，大多數(shù)研究都集中在基本情緒上，而對(duì)社會(huì)情感（包括態(tài)度）的研究非常少;二是從語言上看，漢語情感的研究還落后于其他語言，如英語、日語、法語等。因此，本文著力研究不同關(guān)系的說話者間漢語態(tài)度語音的產(chǎn)出與感知特性。
　　本文的研究問題有兩個(gè):
　　(1)聽話人如何通過語音形式、面部表情等多種模態(tài)信息來感知對(duì)話者之間的友好或?qū)α㈥P(guān)系、褒揚(yáng)或貶責(zé)態(tài)度的？
　　(2)說話人是如何通

2、過特定的語音韻律特征來分別表達(dá)友好或?qū)α㈥P(guān)系、褒揚(yáng)或貶責(zé)態(tài)度的？
　　本文通過感知實(shí)驗(yàn)和聲學(xué)分析，考察不同關(guān)系（友好、對(duì)立）的談話者之間，是如何傳遞不同態(tài)度（褒揚(yáng)、貶責(zé)）的。
　　在感知實(shí)驗(yàn)中，通過給12名被試播放純音頻、純視頻和音視頻三種模態(tài)的刺激，讓被試判斷出刺激所包含的話者關(guān)系和褒貶態(tài)度。感知實(shí)驗(yàn)的主要結(jié)果有:
　　(1)在兩種話者關(guān)系中，友好關(guān)系的辨識(shí)率更高;在褒貶態(tài)度中，褒揚(yáng)態(tài)度的辨識(shí)率更高;在三種模態(tài)中，純

3、視頻模態(tài)的辨識(shí)率最高。
　　(2)當(dāng)話者關(guān)系為友好時(shí)，褒揚(yáng)態(tài)度的辨識(shí)率顯著高于貶責(zé)態(tài)度;當(dāng)話者關(guān)系為對(duì)立時(shí)，褒揚(yáng)態(tài)度的辨識(shí)率也高于貶責(zé)態(tài)度，但其辨識(shí)優(yōu)勢(60.1％ vs40.2％)低于友好關(guān)系時(shí)的辨識(shí)優(yōu)勢(84.7％ vs46.2％)。
　　(3)褒揚(yáng)態(tài)度在純視頻模態(tài)下辨識(shí)率最高，貶責(zé)態(tài)度在音視頻模態(tài)下辨識(shí)率最高。這說明聽話者僅通過面部表情就可以很好地判斷出褒揚(yáng)態(tài)度，但在判斷貶責(zé)態(tài)度時(shí)需要同時(shí)結(jié)合聲音韻律和面部表情。

4、>　　(4)友好關(guān)系在音視頻模態(tài)下辨識(shí)率最高，對(duì)立關(guān)系在純視頻模態(tài)下辨識(shí)率最高。這表明聽話者判斷友好關(guān)系時(shí)，需要結(jié)合聲音韻律和面部表情，而判斷對(duì)立關(guān)系時(shí)，僅通過面部表情就可以很好地判斷。
　　在聲學(xué)分析中，考察了情感態(tài)度和韻律特征之間的對(duì)應(yīng)關(guān)系。本文提取了基頻、時(shí)長、能量、嗓音等17個(gè)相關(guān)的聲學(xué)參數(shù)，通過多元方差分析、因子分析和判別分析，系統(tǒng)考察了不同話者關(guān)系、褒貶態(tài)度與韻律參數(shù)之間的關(guān)系。方差分析的主要研究結(jié)果有:
　　當(dāng)

5、談話者之間是友好關(guān)系時(shí)，說話者表達(dá)褒揚(yáng)態(tài)度會(huì)用更高的基頻、更快的語速，更大的振幅抖動(dòng)、更小的諧波噪聲比;當(dāng)談話者之間是對(duì)立關(guān)系時(shí)，說話者表達(dá)褒揚(yáng)態(tài)度會(huì)用較低的基頻、更小的調(diào)域、更慢的語速、更小的能量、更小的振幅抖動(dòng)、更大的諧波噪聲比。
　　上述結(jié)果表明，談話者之間的關(guān)系，會(huì)影響褒貶態(tài)度的表達(dá):當(dāng)談話者之間為友好關(guān)系時(shí)，說話者表達(dá)褒揚(yáng)和貶責(zé)態(tài)度需要用基頻、時(shí)長和嗓音進(jìn)行區(qū)分，而能量沒有變化;當(dāng)談話者之間為對(duì)立關(guān)系時(shí)，說話者表達(dá)褒揚(yáng)和

6、貶責(zé)態(tài)度需要使用基頻、時(shí)長、能量、嗓音進(jìn)行區(qū)分。
　　本文同時(shí)對(duì)提取到的17個(gè)聲學(xué)參數(shù)進(jìn)行降維，利用因子分析發(fā)現(xiàn)，前六個(gè)公共因子可以包含原來80.32％的信息，分別對(duì)應(yīng)了嗓音參數(shù)、能量離散參數(shù)、基頻離散參數(shù)、基頻集中參數(shù)、能量集中參數(shù)和時(shí)長參數(shù)。通過判別分析發(fā)現(xiàn)，利用前六個(gè)公共因子對(duì)表達(dá)風(fēng)格、話者關(guān)系和褒貶態(tài)度進(jìn)行判別的辨識(shí)率均高于被試主觀判斷的辨識(shí)率。這說明基頻、時(shí)長、能量、嗓音的相關(guān)聲學(xué)參數(shù)可以很好地刻畫在友好、對(duì)立兩種對(duì)話者