基于眾包和概率模型的實(shí)體解析方法研究.pdf

1、實(shí)體解析是關(guān)于識(shí)別和解析不同數(shù)據(jù)集合中的數(shù)據(jù)對(duì)，使其匹配現(xiàn)實(shí)世界中相應(yīng)實(shí)體的過(guò)程。實(shí)體解析是存在于數(shù)據(jù)庫(kù)管理，信息檢索和機(jī)器學(xué)習(xí)等眾多研究領(lǐng)域中的長(zhǎng)期挑戰(zhàn)。隨著大數(shù)據(jù)時(shí)代的到來(lái)和數(shù)據(jù)自帶的語(yǔ)意模糊性，實(shí)體解析的任務(wù)變得越來(lái)越繁瑣和復(fù)雜。然而，眾包平臺(tái)的出現(xiàn)為解決數(shù)據(jù)的寓意模糊性提供了有效的解決途徑。因此本文就如何利用人類(lèi)的智慧來(lái)解決實(shí)體解析的問(wèn)題進(jìn)行了初步的探討，本文主要分三個(gè)大部分來(lái)探討。
　　第一部分主要介紹了本文的選題背景以

2、及相關(guān)工作，尤其是介紹近些年實(shí)體解析的研究情況和基于眾包的實(shí)體解析的研究成果。而眾包平臺(tái)解決實(shí)體解析問(wèn)題的關(guān)鍵是眾包問(wèn)題的產(chǎn)生策略，即Human Intelligence Task(HIT)的產(chǎn)生策略。該部分首先介紹了眾包在實(shí)體解析中的兩種HIT生成模型，即基于關(guān)聯(lián)的HIT生成模型和基于概率的HIT生成模型。最后通過(guò)對(duì)這兩種模型的優(yōu)缺點(diǎn)進(jìn)行對(duì)比，基于概率的HIT生成模型被確定為本文要探討的應(yīng)用模型。
　　本文第二部分探討如何調(diào)整和

3、轉(zhuǎn)化相應(yīng)的 HIT生成模型，使其能夠解決實(shí)體解析中的HIT生成問(wèn)題。不同于其他HIT生成模型，本文將用戶的錯(cuò)誤率考慮進(jìn)來(lái)，探討了用戶答題的錯(cuò)誤率對(duì)于 HIT生成效率和精度的影響。與此同時(shí)，該部分分別提出了兩個(gè)HIT的概率生成模型框架，即最佳HIT生成模型1EPMQ和多HIT生成模型NEPMQ。除此之外，該部分證明了NEPMQ方法的HIT生成策略是一個(gè)NP-hard問(wèn)題。為了解決這個(gè)NP-hard問(wèn)題，本文分別提出了一個(gè)近似算法和一個(gè)啟發(fā)