數(shù)據(jù)挖掘的若干新方法及其在我國(guó)證券市場(chǎng)中應(yīng)用.pdf

1、數(shù)據(jù)挖掘是信息領(lǐng)域發(fā)展最快的技術(shù)，很多不同領(lǐng)域的專家，比如統(tǒng)計(jì)學(xué)家、數(shù)據(jù)庫(kù)專家等，都從中獲得了發(fā)展的空間，使得數(shù)據(jù)挖掘日益成為企業(yè)界討論的熱門話題。隨著信息技術(shù)的發(fā)展，人們采集數(shù)據(jù)的手段日益豐富與高明，由此積累的數(shù)據(jù)日益膨脹，數(shù)據(jù)量達(dá)到GB甚至TB級(jí)，而且高維數(shù)據(jù)也日益成為主流。這些海量數(shù)據(jù)及其高維特征使得傳統(tǒng)的數(shù)據(jù)分析手段相形見絀。計(jì)算機(jī)性能的日益更新，使得人們能夠期望計(jì)算機(jī)幫助我們分析與理解數(shù)據(jù)，幫助我們以豐富的數(shù)據(jù)為基礎(chǔ)做出正確決

2、策。 數(shù)理統(tǒng)計(jì)是應(yīng)用數(shù)學(xué)中最重要、最活躍的學(xué)科之一，它在計(jì)算機(jī)發(fā)明之前就誕生了，迄今已有幾百年的發(fā)展歷史。如今相當(dāng)強(qiáng)大有效的數(shù)理統(tǒng)計(jì)方法和工具，已成為信息咨詢業(yè)的基礎(chǔ)。信息時(shí)代，咨詢業(yè)更為發(fā)達(dá)。然而，數(shù)理統(tǒng)計(jì)和數(shù)據(jù)庫(kù)技術(shù)結(jié)合得并不算快，數(shù)據(jù)庫(kù)查詢語(yǔ)言SQL中的聚合函數(shù)功能極其簡(jiǎn)單，就是一個(gè)證明。咨詢業(yè)用數(shù)據(jù)庫(kù)查詢數(shù)據(jù)還遠(yuǎn)遠(yuǎn)不夠。一旦人們有了從數(shù)據(jù)查詢到知識(shí)發(fā)現(xiàn)、從數(shù)據(jù)演繹到數(shù)據(jù)歸納的要求，概率論和數(shù)理統(tǒng)計(jì)就獲得了新的生命力，所以

3、才會(huì)在DM這個(gè)結(jié)合點(diǎn)上，立即呈現(xiàn)出“忽如一夜春風(fēng)來(lái)，千樹萬(wàn)樹梨花開”的繁榮景象。一向以數(shù)理統(tǒng)計(jì)工具和可視化計(jì)算聞名的美國(guó)SAS公司，領(lǐng)先宣布進(jìn)入DM行列真正所說(shuō)明這一點(diǎn)。 因此有必要將更多的統(tǒng)計(jì)學(xué)的知識(shí)應(yīng)用到數(shù)據(jù)挖掘領(lǐng)域中來(lái)，使得DM得到更充分的發(fā)展，使統(tǒng)計(jì)學(xué)的應(yīng)用價(jià)值得到更充分的體現(xiàn)。 本文主要是探索一些統(tǒng)計(jì)方法，并應(yīng)用到滬、深股市的研究中。 第一章介紹了數(shù)據(jù)挖掘的一些相關(guān)概念、基礎(chǔ)知識(shí)以及國(guó)內(nèi)外的發(fā)展現(xiàn)狀。

4、第二章我們應(yīng)用一些非常成熟的方法，在閆冀楠[1]的基礎(chǔ)上對(duì)滬、深股市作了進(jìn)一步分析，給出了我國(guó)股票市場(chǎng)運(yùn)行并非完全有效的有力論斷，為后面的工作提供基本前提。 第三章應(yīng)用線性模型的相關(guān)理論，提出了新的檢驗(yàn)創(chuàng)新異常點(diǎn)的方法，并在我國(guó)證券市場(chǎng)進(jìn)行實(shí)證分析，獲得較好的結(jié)果。 第四章應(yīng)用異常診斷中一些常用距離方法（ 距離法、似然距離法），并在此基礎(chǔ)上給出了一種新的 距離，在證券實(shí)證分析中挖掘出效率很高的“線性”和“非線性”段。