ｗｅｂ挖掘在電子商務(wù)系統(tǒng)中的應(yīng)用

1、<p>　?。祝澹馔诰蛟陔娮由虅?wù)系統(tǒng)中的應(yīng)用</p><p>　　[摘要] 本文闡述了在電子商務(wù)應(yīng)用中，利用Web挖掘技術(shù)，有效地將用戶訪問(wèn)過(guò)程中的數(shù)據(jù)記錄到日志文件中，并對(duì)日志文件進(jìn)行有效地分析和挖掘；利用Apriori改進(jìn)算法FT－樹增長(zhǎng)算法，找出對(duì)電子商務(wù)系統(tǒng)有指導(dǎo)作用的關(guān)聯(lián)規(guī)律。 </p><p>　　[關(guān)鍵詞] 電子商務(wù) 數(shù)據(jù)挖掘 日志挖掘 知識(shí)發(fā)現(xiàn) 人工智能 <

2、/p><p>　　隨著電子商務(wù)的發(fā)展，企業(yè)的數(shù)據(jù)越來(lái)越多，而當(dāng)其數(shù)據(jù)積累到一定程度時(shí)，必然會(huì)反映出一定規(guī)律性的東西，也就是說(shuō)，企業(yè)的海量、分布、動(dòng)態(tài)、復(fù)雜、非結(jié)構(gòu)化的數(shù)據(jù)中蘊(yùn)含有可以為其利用的規(guī)律。因此，人們迫切希望使用一種技術(shù)，從中挖掘出具有價(jià)值的規(guī)律來(lái)，形成對(duì)企業(yè)的技術(shù)和經(jīng)營(yíng)的指導(dǎo)。數(shù)據(jù)挖掘技術(shù)是可以用來(lái)挖掘這些規(guī)律的一種有效工具。 </p><p>　　Web中包含的豐富和動(dòng)態(tài)的超鏈接信

3、息，以及Web頁(yè)面的訪問(wèn)和使用信息，為數(shù)據(jù)挖掘提供了豐富的資源。如何對(duì)Web中的數(shù)據(jù)進(jìn)行有效的資源和知識(shí)發(fā)現(xiàn)，是Web挖掘需要解決的問(wèn)題。 </p><p>　　一、Web信息數(shù)據(jù)的特征 </p><p>　　傳統(tǒng)數(shù)據(jù)挖掘的信息局限于數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)，而Web信息數(shù)據(jù)是半結(jié)構(gòu)化或非結(jié)構(gòu)化的,具有如下特征: 一是大規(guī)模海量數(shù)據(jù)信息。二是信息分布廣泛。三是異質(zhì)、動(dòng)態(tài)的信息源。Web及其數(shù)據(jù)

4、的更新、增長(zhǎng)速度極快, Web上的信息幾乎都是隱藏的、未知的。四是信息具有豐富的內(nèi)涵。既有涉及各方面豐富的信息內(nèi)容,又蘊(yùn)涵著訪問(wèn)頁(yè)面、路徑、時(shí)間、用戶IP地址等這些潛在的訪問(wèn)信息。 </p><p>　　二、數(shù)據(jù)挖掘及Web挖掘技術(shù) </p><p><b>　　1.數(shù)據(jù)挖掘 </b></p><p>　　數(shù)據(jù)挖掘，又稱數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，近幾

5、年來(lái)已被數(shù)據(jù)庫(kù)界所廣泛研究。它是在數(shù)據(jù)倉(cāng)庫(kù)或大型數(shù)據(jù)庫(kù)的基礎(chǔ)上，從大量的、模糊的、隨機(jī)的數(shù)據(jù)中提取出數(shù)據(jù)間重要的但容易被人工分析忽略的知識(shí)和信息。數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫(kù)、人工智能、神經(jīng)網(wǎng)絡(luò)、預(yù)測(cè)理論、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)等多種相關(guān)技術(shù)。數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)（KDD）是從大量數(shù)據(jù)中提取出可信的、新穎的、有效的并能被人們理解的模式的高級(jí)處理過(guò)程。模式可以看作是我們所說(shuō)的知識(shí)，它給出了數(shù)據(jù)的特性或數(shù)據(jù)之間的關(guān)系，是對(duì)數(shù)據(jù)包含的信息更抽象的描述。 &

6、lt;/p><p><b>　　2.Web挖掘 </b></p><p>　　Web挖掘是對(duì)數(shù)據(jù)挖掘的一種新的發(fā)展和應(yīng)用，但不同于傳統(tǒng)的數(shù)據(jù)挖掘，其主要區(qū)別在于傳統(tǒng)的數(shù)據(jù)挖掘的對(duì)象局限于數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)，并利用關(guān)系表等存儲(chǔ)結(jié)構(gòu)來(lái)挖掘知識(shí)，而Web挖掘的對(duì)象是半結(jié)構(gòu)化或非結(jié)構(gòu)化特征。 </p><p>　　Web挖掘就是從大量的Web文檔和Web

7、活動(dòng)中發(fā)現(xiàn)、抽取感興趣的、潛在的有用模式和隱含的、事先未知的、潛在的信息。它以數(shù)據(jù)挖掘、文本挖掘、多媒體挖掘?yàn)榛A(chǔ)，并綜合運(yùn)用計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)、人工智能、信息檢索、信息提取、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、概率理論、可視化、計(jì)算機(jī)語(yǔ)言學(xué)、自然語(yǔ)言理解等多個(gè)領(lǐng)域的技術(shù)，并將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)與Web結(jié)合起來(lái)。Web挖掘分為：Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用記錄挖掘，如下圖所示。 </p><p>　　圖 W

8、eb挖掘的分類 </p><p>　　三、基于Web日志挖掘的算法 </p><p>　　Web日志記錄了用戶訪問(wèn)的信息，包括用戶的訪問(wèn)方式、訪問(wèn)時(shí)間、訪問(wèn)人數(shù)、用戶IP地址、被請(qǐng)求文件的URL HTTP版本號(hào)、傳輸字節(jié)數(shù)、引用頁(yè)的URL等。 </p><p><b>　　1.符號(hào)與定義 </b></p><p>　　W

9、eb日志文件是由一條記錄組成的，一條記錄實(shí)際上記錄的是用戶對(duì)Web頁(yè)面的一次訪問(wèn)。 </p><p>　　定義1關(guān)聯(lián)規(guī)則：設(shè)I是Web日志的一條記錄，即I={i1,i2,…,im},其中ij(1≤j≤m)是某用戶訪問(wèn)一種商品的數(shù)據(jù)，每次訪問(wèn)一種商品都包含有如商品編號(hào)、訪問(wèn)時(shí)間、訪問(wèn)次數(shù)、客戶號(hào)、客戶IP地址等數(shù)據(jù)，稱此類數(shù)據(jù)為數(shù)據(jù)項(xiàng)。Ti∈I為I的一個(gè)子集。D={T1,T2,…,Tn}是關(guān)于Ti的集合，且X∈I，

10、Y∈I，X∩Y =Ф，則記錄X=&gt;Y為在集合D中X與Y相互關(guān)聯(lián)的規(guī)則。 </p><p>　　定義2支持度：如果X=&gt;Y在T中的S%成立，則稱X＝&gt;Y的支持度為S%，即 </p><p>　　S% =(|{t|t中含有X,Y}|/|T|)·100% </p><p>　　支持度S%表示X=&gt;Y中出現(xiàn)的

11、普遍程度。 </p><p><b>　　定義3置信度C% </b></p><p>　　C%=(|{t|t中含有X,Y}|/|{t|t中含有X}|)·100% </p><p>　　置信度表征的是規(guī)則的強(qiáng)度。 </p><p>　　定義4頻繁模式：大于給定的支持度的模式X=&gt;Y稱為頻繁模式，并將

12、它看成是T中一條有意義的關(guān)聯(lián)規(guī)則。 </p><p><b>　　2.算法描述 </b></p><p>　　根據(jù)FP－增長(zhǎng)或頻繁模式增長(zhǎng)（Frequent-pattern Growth）算法，將關(guān)聯(lián)規(guī)則的挖掘分為兩個(gè)步驟實(shí)施：根據(jù)所提供的最小支持度和最小置信度找出所有的頻繁項(xiàng)集；利用所產(chǎn)生的頻繁項(xiàng)集，產(chǎn)生合理的關(guān)聯(lián)規(guī)則。 </p><p>　

13、?。?）FP－增長(zhǎng)算法的具體算法描述如下： </p><p>　　輸入事務(wù)數(shù)據(jù)庫(kù)D，最小支持度閾值min_sup </p><p>　　輸出D中的所有頻繁項(xiàng)集 </p><p>　　方法1按以下步驟掃描構(gòu)造FP－樹： </p><p>　?、賿呙枋聞?wù)數(shù)據(jù)庫(kù)D一次。收集頻繁項(xiàng)的集合F和其支持度。對(duì)F按支持度降序排序，結(jié)果為頻繁項(xiàng)表L。 <

14、/p><p>　?、趧?chuàng)建FP－樹的根節(jié)點(diǎn)，以“null”標(biāo)記。對(duì)D中每個(gè)Trans,執(zhí)行： </p><p>　　選擇Trans中的頻繁項(xiàng)，按L中的次序排序。設(shè)排序后的頻繁項(xiàng)表為[p│P]，其中p是第一個(gè)元素，P是剩余的元素表。調(diào)用insert_tree([p│P] ,T)。即：如果T有子女N使得N.item－name = p.item－name，則N的記數(shù)增加1，否則創(chuàng)建一個(gè)新節(jié)點(diǎn)N，并將其

15、計(jì)數(shù)設(shè)置為1，鏈接到它的父節(jié)點(diǎn)T，并通過(guò)節(jié)點(diǎn)鏈接結(jié)構(gòu)將其鏈接到具有相同item–name的節(jié)點(diǎn)。如果P非空，遞歸調(diào)用insert_tree（P,N）。 </p><p>　　方法2procedure FT_growth(Tree,α) </p><p>　　if Tree含單個(gè)路徑P then </p><p>　　for P中節(jié)點(diǎn)的每個(gè)組合（記作β）產(chǎn)生模式β∪α

16、，其支持度support=β中節(jié)點(diǎn)最小支持度； </p><p>　　else for each αi在Tree的頭部{ </p><p>　　產(chǎn)生一個(gè)模式β=αi∪α，其支持度support =αi·support； </p><p>　　構(gòu)造β的條件模式基，然后構(gòu)造β的條件FP－樹Treeβ； </p><p>　　if Tre

17、eβ≠φthen </p><p>　　調(diào)用FP_growth(Treeβ,β)；} </p><p>　　（2）產(chǎn)生頻繁項(xiàng)集。本文主要介紹如何產(chǎn)生所有頻繁項(xiàng)集。假設(shè)有一個(gè)兩維的Web日志數(shù)據(jù)文件。一維是商品號(hào)，共有三種商品，分別標(biāo)志為T1，T2，T3；另一維包括商品的訪問(wèn)次數(shù)，為簡(jiǎn)化處理，分別標(biāo)志為Interview1，Interview2，Interview3，Interview4，I

18、nterview5。另假設(shè)Min_sup=0.3，Minconf =0.5,表1給出了兩維的事務(wù)數(shù)據(jù)庫(kù)，表2給出的是一維頻繁項(xiàng)集，表3給出的是二維頻繁項(xiàng)集。 </p><p><b>　　四、結(jié)束語(yǔ) </b></p><p>　　本文提出了一種基于日志的Web數(shù)據(jù)挖掘方法，對(duì)電子商務(wù)系統(tǒng)具有較強(qiáng)的現(xiàn)實(shí)指導(dǎo)意義。Web日志挖掘所得到的結(jié)果既有利于提高網(wǎng)站的性能和安全性,