碩士論文——在線云存儲技術(shù)的研究

1、<p>　　在線云存儲技術(shù)的研究</p><p>　　摘 要：作為SaaS的典型應(yīng)用，在線云存儲提供了云端的數(shù)據(jù)存放和操作，國內(nèi)的各大互聯(lián)網(wǎng)公司都對大眾提供了各自的“云網(wǎng)盤”，用戶可以將自己的文件上傳到云端，然后便可以通過網(wǎng)絡(luò)訪問這些文件。云網(wǎng)盤在技術(shù)實(shí)現(xiàn)上仍需要考慮多方面的問題，如用戶鑒權(quán)、物理數(shù)據(jù)存儲、空間壓縮等。同時，用戶日益關(guān)注的隱私、數(shù)據(jù)可靠性及如何盈利也是需要考慮的對象。本文通過對在線云存

2、儲實(shí)現(xiàn)中可能會遇見的技術(shù)問題進(jìn)行解讀，通過閱讀相關(guān)資料和文檔，并結(jié)合日常學(xué)習(xí)中所學(xué)到的知識，從一定程度上提出相應(yīng)的解決方案。</p><p>　　關(guān)鍵詞：云計(jì)算；在線云存儲；云網(wǎng)盤；解決方案</p><p>　　Abstract: As a typical application of SaaS, online cloud storage provides cloud data stora

3、ge and handling, the major Internet companies are on the public provides their cloud network disk, users can own file upload to the cloud, can then be accessed through a network is presented in this paper. Cloud network

4、disk in the technology still need to consider many aspects, such as user authentication, physical data storage, space compression. At the same time, users are increasingly concerned about pr</p><p>　　Key wor

5、ds: Cloud computing; Cloud storage; SkyDrive cloud; Solutions</p><p>　　隨著時代的發(fā)展和科技的不斷進(jìn)步，最近十年中，全球文件資源總量呈現(xiàn)爆發(fā)式的增長。為了解決海量用戶文件的存儲問題，云存儲技術(shù)應(yīng)運(yùn)而生。云存儲是與云計(jì)算同時興起的一個概念，同時云存儲也是云計(jì)算所不可或缺的一個部分。隨著云計(jì)算技術(shù)的蓬勃發(fā)展，云存儲技術(shù)也得到了深入的研究與廣泛的應(yīng)

6、用。作為云計(jì)算的一個基礎(chǔ)部分，在線云存儲[1,2]提供了數(shù)據(jù)存儲的服務(wù)，用戶不需要建立自己的數(shù)據(jù)中心，處理備份、CDN（Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)）及災(zāi)難恢復(fù)等重要且復(fù)雜的功能，只需要像使用電腦的內(nèi)置硬盤一樣來使用在線云存儲。然而在線云存儲同時也具有一些缺點(diǎn)[3]，諸如用戶無法確認(rèn)存儲服務(wù)提供商的安全性、存儲服務(wù)提供商的安全性、可靠性和可用性僅取決于服務(wù)提供商等。</p><p&

7、gt;　　云存儲的概念一經(jīng)提出，就得到了眾多廠商的支持和關(guān)注，這從當(dāng)前市場上各式各樣的云網(wǎng)盤就可見一斑。目前較為著名和實(shí)力較強(qiáng)的個人在線云存儲提供商[4,5]有國外的Apple iCloud、DropBox、Google Drive、Microsoft OneDrive和Mega等，國內(nèi)則有百度云、360云盤、騰訊微云、華為DBank等眾多的網(wǎng)盤提供商。國外個人在線云存儲主要賣點(diǎn)在于自身的保密性和可靠程度，而國內(nèi)的各大提供商則致力于宣傳

8、能提供超大的存儲空間、數(shù)據(jù)“秒傳”等一些用戶體驗(yàn)上的特性。這些功能的技術(shù)實(shí)現(xiàn)方法都將在下文提及。</p><p>　　1 在線云存儲的技術(shù)難題及解決方案</p><p>　　1.1 基本存儲服務(wù)</p><p>　　傳統(tǒng)的情況下，所有的存儲設(shè)備都在主機(jī)/服務(wù)器內(nèi)部，無法和其他主機(jī)共享。隨著網(wǎng)絡(luò)的發(fā)展，主機(jī)之間可以使用網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的傳輸，這種架構(gòu)稱為以服務(wù)器為中心的存

9、儲架構(gòu)，在這種架構(gòu)中，每個服務(wù)器都有自己的存儲設(shè)備。對某個服務(wù)器的維護(hù)或某個服務(wù)器出現(xiàn)故障都會導(dǎo)致信息的無法訪問，從而產(chǎn)生了信息的難于保護(hù)、不易管理、信息孤島以及維護(hù)開銷大等問題。</p><p>　　為了解決這些問題，便產(chǎn)生了一種新的架構(gòu)，稱為以信息為中心的架構(gòu)。在這種架構(gòu)下，存儲設(shè)備集中管理，不再依附于服務(wù)器。多個服務(wù)器之間可以共享存儲設(shè)備。在部署新的服務(wù)器時，從共享存儲設(shè)備中為它分配存儲。共享存儲的容量可以

10、通過添加新設(shè)備的方式動態(tài)的增加而不影響信息的可用性。這種架構(gòu)讓信息的管理變得更加簡單并擁有更好的成本效益。</p><p>　　在這種架構(gòu)下最典型的便是NAS（Network Attached Storage：網(wǎng)絡(luò)附屬存儲），如圖1所示。NAS[6]是專用的高性能文件共享和存儲設(shè)備，它是企業(yè)文件服務(wù)器的一種解決方式，也就是以信息為中心的架構(gòu)中存儲信息的部分。NAS設(shè)備使用自帶的操作系統(tǒng)和集成軟件、硬件組件，滿足特

11、定的文件服務(wù)需求。NAS對文件I/O進(jìn)行了特定的優(yōu)化，在傳輸速度上優(yōu)秀于各類的通用文件服務(wù)器。同時，當(dāng)今的NAS甚至還支持文件級虛擬化，消除了文件數(shù)據(jù)和物理存儲之間的依賴關(guān)系，即使當(dāng)文件在物理介質(zhì)中進(jìn)行移動時也能實(shí)現(xiàn)不間斷的訪問操作。 </p><p>　　圖1 網(wǎng)絡(luò)連接存儲架構(gòu) </p><p>　　在線云存儲系統(tǒng)中的信息量級巨大，且同時會有多個用戶訪問，并無時不刻的需要保護(hù)數(shù)據(jù)可靠性

12、，因此這種以信息為中心的存儲架構(gòu)完全符合在線云存儲的需要。另一方面，云計(jì)算和虛擬化的誕生也使共享資源的集中管理變?yōu)榱丝赡堋?lt;/p><p>　　1.2 獨(dú)立冗余磁盤陣列</p><p>　　當(dāng)今物理存儲器的價格已經(jīng)非常低廉，熱衷于科技和下載的人很容易擁有6塊每塊2TB大小的存儲器，而在數(shù)據(jù)中心中，動輒就會有幾萬甚至幾十萬塊的物理存儲器。雖然單塊物理存儲器故障的概率很小，但當(dāng)大量的物理存儲器

13、同時運(yùn)作時，使用簡單的概率論知識就能知道，其不出現(xiàn)任何故障幾乎是不可能的。舉例來說，某種年故障率為0.01%的硬盤，其正常工作一年的概率為99.99%，當(dāng)某一數(shù)據(jù)中心中保有10000塊，則在一年中不出現(xiàn)任何故障的概率為</p><p><b>　　(1)</b></p><p>　　機(jī)械磨損、機(jī)械損傷都是硬盤驅(qū)動器發(fā)生故障的原因，這是無法避免的。并且隨著磁盤數(shù)量的增加

14、，整體故障的概率將會越來越大。由此可見，出現(xiàn)故障是家常便飯，因此我們需要一些方法來防止硬盤驅(qū)動器的故障導(dǎo)致的數(shù)據(jù)丟失。</p><p>　　1987年，美國加州大學(xué)伯克利分校的Patterson、Gibson和Katz等人發(fā)表了一篇名為《冗余磁盤陣列（RAID）的一個示例》的論文，第一次提出了RAID相關(guān)的概念。RAID技術(shù)[7,8]將多塊磁盤形成一個整體，使之能夠在硬盤故障的時候提供數(shù)據(jù)保護(hù)的技術(shù)。同時，RAI

15、D技術(shù)也能提高存儲系統(tǒng)的性能，因?yàn)槎鄩K硬盤驅(qū)動器可以同時進(jìn)行I/O的服務(wù)。目前較為常見的RAID等級如下表1所示。其中RAID-3、RAID-4在技術(shù)上與RAID-5非常類似，因此現(xiàn)在已經(jīng)不是很常見。</p><p>　　表1 RAID級別簡介</p><p>　　RAID技術(shù)在在線云存儲中有很好的應(yīng)用，保證了數(shù)據(jù)的一定意義上的穩(wěn)定性。通過使用分條的技術(shù)，不同的RAID級別有不同的應(yīng)用場

16、景，其開銷、讀寫性能也有所不同，在網(wǎng)上能搜到很多相關(guān)的資料，此處就不再一一贅述。唯一需要提及一點(diǎn)的是RAID技術(shù)的出現(xiàn)，使我們能夠接受短時間內(nèi)少量硬盤的故障，同時能通過熱備磁盤進(jìn)行自動的修復(fù)，也就實(shí)現(xiàn)了管理人員只需要坐在椅子上看著屏幕，哪里亮起了紅點(diǎn)，就過去更換一塊磁盤驅(qū)動器的美好愿景。</p><p>　　在線云存儲系統(tǒng)中的信息量級巨大，且同時會有多個用戶訪問，并無時不刻的需要保護(hù)數(shù)據(jù)可靠性，因此這種以信息為中

17、心的存儲架構(gòu)完全符合在線云存儲的需要。另一方面，云計(jì)算和虛擬化的誕生也使共享資源的集中管理變?yōu)榱丝赡堋?lt;/p><p>　　1.3 負(fù)載均衡和內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）</p><p>　　百度網(wǎng)盤[4]上有許多文件和眾多的用戶，所以百度不可能只有一個服務(wù)器，否則眾多用戶同時訪問就會導(dǎo)致百度網(wǎng)盤崩潰了。因此在實(shí)現(xiàn)在線云存儲的過程中必須部署多臺服務(wù)器，因此我們必須考慮負(fù)載均衡以將請求分配到各臺服

18、務(wù)器。</p><p>　　最早的云存儲的負(fù)載均衡[9]是利用本地的DNS實(shí)現(xiàn)的，為同一個主機(jī)名分配好幾個映射，采用基本的調(diào)度算法，如輪詢、隨機(jī)分配的方式來分配請求。這種方式目前仍然被用在很多中小網(wǎng)站上，如Bilibili視頻網(wǎng)站（因?yàn)樗诒罎⑿畔⑸蠈懨魇峭ㄟ^哪個DNS服務(wù)器定向到哪個服務(wù)器），但其也有一個很大的缺點(diǎn)，就是無法實(shí)現(xiàn)各個服務(wù)器的動態(tài)監(jiān)測。如果其中一臺服務(wù)器宕機(jī)，DNS服務(wù)器是無法及時的發(fā)現(xiàn)，從而導(dǎo)致

19、被分配到該服務(wù)器的用戶出現(xiàn)訪問失敗的情況。同時，通過DNS進(jìn)行負(fù)載均衡也不能即時的判斷每個服務(wù)器的負(fù)載，如果調(diào)度算法不夠完善，就可能會出現(xiàn)某個服務(wù)器幾乎閑置而另一個服務(wù)器負(fù)載壓力極高的情況。</p><p>　　目前最流行的的負(fù)載均衡是采用反向代理。反向代理與正向代理類似，我們使用代理來訪問“某些不能直接訪問的網(wǎng)站”，這樣防火墻就無法鑒別我們究竟在訪問什么網(wǎng)站，以達(dá)到間接訪問的目的。而反向代理也類似，我們在訪問一

20、個部署了反向代理的網(wǎng)站時，訪問的并不是正在的服務(wù)器，而是反向代理服務(wù)器。當(dāng)請求到達(dá)反向代理服務(wù)器時，反向代理再講請求轉(zhuǎn)發(fā)至服務(wù)器。目前通常的反向代理服務(wù)器都是以Nginx等服務(wù)器搭建，因?yàn)槠渚哂斜姸嗟姆峙洳呗砸员ＷC平均分配訪問的請求。反向代理其實(shí)類似于動態(tài)的DNS服務(wù)，但它可以做到DNS所無法做到的動態(tài)監(jiān)測功能。</p><p>　　同時，由于個人在線云存儲往往被用戶用來存儲各種非結(jié)構(gòu)化的大型數(shù)據(jù)，如電影、視頻、

21、照片等，而且當(dāng)前主流的“網(wǎng)盤”都實(shí)現(xiàn)了各種在線預(yù)覽的功能。如果在幾年前，在線觀看視頻一直在緩沖、預(yù)覽照片一直顯示紅叉，我們也不會怎么在意，但是在現(xiàn)在，我們一定會覺得這個網(wǎng)盤做的很渣，從而放棄使用，為了解決這個問題，就有了內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）。</p><p>　　簡單的來說CDN就是存儲一些靜態(tài)文件的一臺或多臺服務(wù)器，通過復(fù)制、緩存等方式，將文件保存其中。由于在線云存儲中的文件通常都可以歸為靜態(tài)數(shù)據(jù)的范疇，因此

22、CDN的使用可謂是非常的對癥下藥。在沒有CDN的年代，所有的數(shù)據(jù)都從主服務(wù)器中獲取，如果服務(wù)器在北京，而我們在廣州進(jìn)行訪問，由于傳輸距離、運(yùn)營商、高并發(fā)等因素，訪問的速度就會變慢。而使用了CDN服務(wù)后，將CDN服務(wù)器部署在各個不同的地理位置，并且CDN服務(wù)器會在用戶第一次請求后緩存文件，或者是主動的從主服務(wù)器請求數(shù)據(jù)并進(jìn)行緩存。從而當(dāng)用戶發(fā)送請求請求到達(dá)服務(wù)器時，服務(wù)器通過IP、運(yùn)營商等信息來判斷用戶的地理位置，并分配離用戶最近的CND

23、服務(wù)器，以加快加載靜態(tài)數(shù)據(jù)的速度。</p><p><b>　　1.4 災(zāi)難恢復(fù)</b></p><p>　　如果RAID技術(shù)在一定程度上能保證數(shù)據(jù)的安全性，那當(dāng)數(shù)據(jù)中心發(fā)生地震、洪水或大規(guī)模斷電的時候，RAID技術(shù)也就無能為力了。為了應(yīng)對這種災(zāi)難性的毀滅，必須要采取相應(yīng)的對策以保護(hù)數(shù)據(jù)的安全性。備份是最主要的應(yīng)對災(zāi)難恢復(fù)的需求。當(dāng)主位置因?yàn)?zāi)難而不能工作的時候，備份的

24、副本將用于在第二地點(diǎn)恢復(fù)數(shù)據(jù)。針對不同的信息可用性的要求，有不同的備份方案。早期人們使用磁帶備份的方式，備份磁帶介質(zhì)被運(yùn)往異地保存。然而這種方法有著較長的恢復(fù)點(diǎn)，這會造成災(zāi)難發(fā)生前一段時間的數(shù)據(jù)丟失，也就會造成“回檔”。在各類電子游戲中，“回檔”是最受玩家們深痛惡覺的事情，在在線云存儲中亦然。用戶可能把非常重要的數(shù)據(jù)修改后存放于“網(wǎng)盤”中，因此不能接受數(shù)據(jù)的丟失。目前采用的往往是遠(yuǎn)程復(fù)制技術(shù)來實(shí)時的將數(shù)據(jù)復(fù)制到災(zāi)難恢復(fù)位置，使得在遇到災(zāi)

25、難時能以相對較短的時間恢復(fù)生產(chǎn)系統(tǒng)。</p><p>　　遠(yuǎn)程復(fù)制[10]分為同步模式和異步模式，并有基于主機(jī)的復(fù)制、基于陣列的遠(yuǎn)程復(fù)制、基于網(wǎng)絡(luò)的遠(yuǎn)程復(fù)制等多種技術(shù)，讀者可以自行查找相關(guān)資料以了解詳細(xì)信息。同時由于在線云存儲是基于云計(jì)算的服務(wù)，當(dāng)災(zāi)難發(fā)生時，由于有多個CDN站點(diǎn)及多個備份服務(wù)器，用戶甚至無法感知到災(zāi)難的發(fā)生，僅會感覺到下載或鏈接的速度變慢了而已。</p><p>　　2

26、細(xì)節(jié)部分的技術(shù)實(shí)現(xiàn)</p><p>　　2.1 數(shù)據(jù)去重、“秒傳”和具有中國特色的內(nèi)容審查</p><p>　　以“百度云”為例，現(xiàn)在只要用戶使用手機(jī)端、Pad端進(jìn)行登錄，就能獲得總計(jì)2048GB的免費(fèi)空間。而當(dāng)前2TB的硬盤價格大約為500-2000元左右，這還不計(jì)算備份、RAID的成本，“百度云”真的那么好心為每一個用戶都準(zhǔn)備了這么大的個人空間？答案必然是否定的。其實(shí)對于互聯(lián)網(wǎng)上的數(shù)據(jù)

27、，很多都是重復(fù)的。每個用戶各自不同的文檔數(shù)據(jù)，諸如名片、Word、PPT等的體積都很小，而占據(jù)了我們硬盤大多數(shù)空間的視頻、電影、音樂等其實(shí)在別人的硬盤上也是同樣的數(shù)據(jù)。因此可以采用類似于C語言中的指針的設(shè)計(jì)方式，每一個文件都只保存一個副本，使用多個鏈接指向這個副本。你保存了這個2GB的電影、我保存了這個2GB的電影，其實(shí)在“百度云”上只保存了一份這個電影和兩個鏈接而已。</p><p>　　那應(yīng)該如何判斷用戶上傳

28、的是不是同一個文件呢？筆者認(rèn)為應(yīng)該是采用摘要的方式，目前流行的摘要算法有MD系列和SHA系列，通過計(jì)算出的散列值是否相同來判斷兩個文件是否為同一個。然而這會遇到一個問題，便是當(dāng)用戶修改了文件名之后還應(yīng)該算是原來的文件。本人就喜歡在下載完電影后按照本人的命名規(guī)則對文件進(jìn)行重新命名和分類存儲。本人認(rèn)為解決改名問題的方法有將文件名都改為一個統(tǒng)一的名字再求散列值，或?qū)ξ募暮蟀氩糠诌M(jìn)行散列計(jì)算并比較文件大小以判斷是否同一個文件。</p&g

29、t;<p>　　這個計(jì)算散列的過程可以在本地進(jìn)行，當(dāng)服務(wù)器發(fā)現(xiàn)用戶上傳的文件在服務(wù)器中已經(jīng)存在之后，所需要做的就只是在用戶的在線云存儲中建立一個到該文件的鏈接而已，從而省去了最耗時的上傳步驟，因此就造成了一種“秒傳”的現(xiàn)象。這也就能解釋為什么再上傳監(jiān)控視頻時需要大量的時間而上傳一部電影就一下子上傳完成的情況。</p><p>　　同時，只保存一份副本的設(shè)計(jì)方式也能用于進(jìn)行內(nèi)容審查。當(dāng)服務(wù)器檢測到某些

30、違法違規(guī)的內(nèi)容時，只需要移除這份副本并刪除所有鏈接即可。即使用戶通過修改文件名、修改后綴名等操作也無法隱藏這些違法文件?，F(xiàn)在的服務(wù)器都能做到自動化的檢查壓縮文件的內(nèi)容，如Google就不允許用戶發(fā)送可執(zhí)行文件，即使是被壓縮過的文件，因此就算把違法文件藏在壓縮包中也是不可行的。</p><p><b>　　2.2 加密存儲</b></p><p>　　雖然用戶仍會為了一

31、些小獎品不惜在各種不靠譜的表格上填上自己的個人隱私信息，但是對于在線云存儲這種提供“直白的”服務(wù)時，用戶往往會要求保護(hù)自己的隱私！因此在國內(nèi)常見的“網(wǎng)盤”中，都提供了類似于“保險箱”等名字的加密存儲服務(wù)。在“百度云”的介紹頁面上寫道“百度云保險箱不僅需要用戶驗(yàn)證自己的身份并需要提供額外的保險箱密碼后才可以進(jìn)行訪問，無法進(jìn)行分享，為您提供最安全和優(yōu)質(zhì)的文件保存服務(wù)?！奔用艿谋举|(zhì)其實(shí)很簡單，即將用戶的個人秘鑰與數(shù)據(jù)進(jìn)行混合，儲存混合后的結(jié)果

32、，只有知道了用戶的秘鑰后才能將數(shù)據(jù)解密。</p><p>　　這種方式看上去是很安全的，然而其理念卻與上一小節(jié)所講的不同副本、同一本體相矛盾，運(yùn)營商會如何取舍便是他們自己的考量了。也許你放在保險箱里的文件，在別的用戶的“網(wǎng)盤”中就能輕易的訪問到，“保險箱”功能[11]也許只是一層紙箱子而已。當(dāng)然，具體采用的策略都是運(yùn)營商進(jìn)行選擇的，我們存在“百度云保險箱”里面的文件到底有沒有加密、有沒有進(jìn)行安全的存儲，那只有“百

33、度云”自己知道了。</p><p>　　2.3 區(qū)別對待不同數(shù)據(jù)</p><p>　　在理想情況下，我們使用的所有的硬盤都是最好的，速度都是最快的，用戶們的所有數(shù)據(jù)都能飛速的讀取和下載，大家感覺都非常好。然而，在線云存儲從根本上來說是商業(yè)上的應(yīng)用，不同的數(shù)據(jù)具有不同的商業(yè)價值，將所有的數(shù)據(jù)都進(jìn)行同等的最優(yōu)對待在成本上都是不被允許的。對于數(shù)據(jù)價值[12]很大的數(shù)據(jù)應(yīng)該提供最好的磁盤驅(qū)動器和最

34、快的訪問速度，而對于價值較小的數(shù)據(jù)可能只提供最基本的服務(wù)。這應(yīng)該說是目前主流廠商所采用的方法，舉例來說當(dāng)從“云盤”下載一部熱門電影時，速度可能達(dá)到物理帶寬的上限，而當(dāng)我從我的網(wǎng)盤下載自己的小作文時，速度僅僅為40KB/s。判斷一個文件的熱門程度，下載量的多少應(yīng)該可以作為衡量的標(biāo)準(zhǔn)之一。</p><p>　　運(yùn)營商根據(jù)成本的不同準(zhǔn)備多套速度、性能不同的存儲系統(tǒng)，在下文中筆者將用等級來將其區(qū)分，等級越高，質(zhì)量越好。當(dāng)

35、用戶上傳一個文件時、先可以根據(jù)文件名或其他因素進(jìn)行預(yù)判段，若覺得該文件可能有較大的價值，則將該文件存放于高等級存儲中，反之亦然。隨著時間的推移，下載量會發(fā)生變化，流行的資源會變得不再流行，而新的流行資源又會不斷出現(xiàn)，所以應(yīng)定時的對數(shù)據(jù)的價值進(jìn)行重新的判斷，并將其移動到等值的存儲服務(wù)器上，而當(dāng)某些數(shù)據(jù)很久都沒有被訪問時，則移動到歸檔服務(wù)器保存。同時，當(dāng)高級存儲器進(jìn)行版本迭代的時候，淘汰下來的前高級存儲器可以降低等級，轉(zhuǎn)而作為低等級存儲來使

36、用，以降低營業(yè)的成本。</p><p>　　3 數(shù)據(jù)去重的測試與性能評價</p><p>　　本文中基于FastDFS文件服務(wù)器開發(fā)了云存儲系統(tǒng)，采用了數(shù)據(jù)去重和文件秒傳機(jī)制。通過基于9個周期的文件數(shù)據(jù)測試，如圖2所示。</p><p>　　圖2 文件去重前后數(shù)據(jù)總量</p><p>　　根據(jù)上圖可以得出，隨著時間的推移，用戶上傳的數(shù)據(jù)總量的

37、增長速度遠(yuǎn)高于經(jīng)過文件去重后的實(shí)際存儲數(shù)據(jù)量的增長速度，而經(jīng)過文件去重的實(shí)際存儲數(shù)據(jù)量一直保持較低的增長速度?？梢婎A(yù)見的是，文件去重技術(shù)的應(yīng)用，可以極大的緩解文件服務(wù)器的壓力，能夠帶來較為可觀的經(jīng)濟(jì)效益。另外，本文中也對上述測試結(jié)果的去重率進(jìn)行了分析，記用戶上傳文件數(shù)據(jù)總量為T，實(shí)際存儲數(shù)據(jù)量為R，去重率的計(jì)算公式如下：</p><p><b>　　(2) </b></p>&

38、lt;p>　　根據(jù)公式2以及文件去重前后數(shù)據(jù)總量的測試結(jié)果，繪制了相應(yīng)的文件去重率的折線圖。研究隨著文件數(shù)據(jù)量的增長，去重率的變化情況如圖 3 所示：</p><p><b>　　圖3 系統(tǒng)去重率</b></p><p>　　由圖3可知：前兩個星期由于文件庫中的文件較少，系統(tǒng)的去重率很低，不足3%。但是隨著時間的推移，用戶上傳文件的增長，系統(tǒng)的文件去重率也隨之增

39、加，最后一個星期的時候，系統(tǒng)的去重率已經(jīng)可以達(dá)到很可觀的43%。可以預(yù)測的是，隨著用戶上傳的文件數(shù)據(jù)總量的進(jìn)一步增加，文件去重的效果會越來越明顯。</p><p>　　由于存儲容量增長，云存儲成本增加。參考阿里云的存儲空間的計(jì)價標(biāo)準(zhǔn)，在本文測試的存儲容量范圍內(nèi)用戶每年需要最多需支付244元的基本存儲費(fèi)用，而經(jīng)過去重的實(shí)際存儲成本只有145元。圖中經(jīng)過去重后的云存儲成本增長的速度遠(yuǎn)小于未經(jīng)去重的存儲成本，當(dāng)存儲容量

40、持續(xù)增長去重前后的成本差距將會越來越大。</p><p>　　本節(jié)主要對云存儲系統(tǒng)的文件去重方面進(jìn)行了測試和性能評價。在盡量去除干擾因素的前提下，采用了較大規(guī)模的文件數(shù)據(jù)作為數(shù)據(jù)集進(jìn)行數(shù)據(jù)去重功能的效果分析。最后，通過結(jié)合阿里云的計(jì)價標(biāo)準(zhǔn)計(jì)算了采用該策略前后系統(tǒng)的存儲變化以及成本變化情況。測試結(jié)果表明在較大規(guī)模數(shù)據(jù)量的情況下，采用本策略能夠較為有效的節(jié)省存儲成本。因此通過本測試，可以得出本策略在文件具有相關(guān)性的情

41、況下，針對大規(guī)模數(shù)據(jù)存儲，能夠獲得比較好的性能，對用戶云存儲開支有了很大的節(jié)省。</p><p>　　4 在線云存儲的未來發(fā)展方向和盈利模式</p><p>　　在1 2年前，國內(nèi)各大個人在線云存儲所采用的盈利模式主要是提升空間，提升15g，半年30元，提升50g，半年90元；比購買一個硬盤還貴，用戶消費(fèi)的動力僅僅在于保存在云存儲上的數(shù)據(jù)不會像傳統(tǒng)硬盤那樣很容易就發(fā)生損壞。</p&g

42、t;<p>　　目前這種傳統(tǒng)的盈利方式已經(jīng)開始逐漸的沒落了，各類”網(wǎng)盤”動輒3 ~ 4T的免費(fèi)空間對于普通的用戶來說完全綽綽有余。因此各提供商必須想出其他的盈利模式[13-15]，觀察了現(xiàn)有的各大云盤所采用的收費(fèi)手段，本人認(rèn)為當(dāng)前的盈利模式主要向兩個方向發(fā)展：速率和C2C。</p><p>　　首先來說速率，速率收費(fèi)在傳統(tǒng)下載行業(yè)可謂是最常見的。目前一線城市的下行網(wǎng)速普遍已經(jīng)超過了10M甚至達(dá)到了1

43、00M，而過去直接從服務(wù)器點(diǎn)對點(diǎn)下載的速度已經(jīng)無法達(dá)到物理帶寬的上限。因此可以通過收費(fèi)的方式讓用戶借助自身的CDN節(jié)點(diǎn)緩存進(jìn)行更快速度的下載。但由于各類在線云存儲推廣的初期，很多云服務(wù)提供商都將這項(xiàng)服務(wù)免費(fèi)的提供給了用戶，而現(xiàn)在說要收費(fèi)的話，可能會造成用戶的不滿和流失。</p><p>　　C2C模式[16]，即用戶對用戶，最顯著的例子可謂是“百度文庫”這一個應(yīng)用。通過上傳文件，用戶可以得到被稱作下載分的積分，而

44、當(dāng)用戶需要進(jìn)行下載的時候，則需要支付下載分來進(jìn)行下載。對于那些不愿意上傳自己資源的用戶也有相應(yīng)的解決方案，那就是付錢。通過這種模式付費(fèi)的用戶完全不會有怨言，因?yàn)橐呀?jīng)提供了免費(fèi)下載的方式，只是自己不想那么做而已，所以這個錢交的心甘情愿。</p><p>　　其他的盈利模式可能是通過提供一些額外的基于提供在線文本編輯、在線播放視頻等并不屬于傳統(tǒng)存儲服務(wù)的功能，此處就不在贅述了。</p><p>

45、;　　本人認(rèn)為在個人線云存儲發(fā)展的方向會更傾向于C2C和更優(yōu)質(zhì)的服務(wù)模式[17]，諸如流暢的在線預(yù)覽功能和強(qiáng)大的在線編輯功能，同時提供更加優(yōu)秀的搜索、資源推薦等功能，并向社交網(wǎng)絡(luò)的方向進(jìn)行發(fā)展，成為一整套的生態(tài)系統(tǒng)[18]而不再是文件存儲這樣單一的一項(xiàng)基礎(chǔ)服務(wù)。</p><p><b>　　參考文獻(xiàn)：</b></p><p>　　李曉松. Dropbox:怎樣平步“云

46、端”?[J]. 中外管理, 2014, 01:28-29.</p><p>　　本報記者湯潯芳. 對標(biāo)Dropbox云存儲中國酣戰(zhàn)[N]. 21世紀(jì)經(jīng)濟(jì)報道, 2012-02-27026.</p><p>　　戴元順. 云計(jì)算技術(shù)簡述[J]. 信息通信技術(shù), 2010, 02:29-35.</p><p>　　李新宇. 網(wǎng)絡(luò)云盤介紹——以360云盤和百度云為例[J]

47、. 無線互聯(lián)科技, 2014,01:38.</p><p>　　國內(nèi)個人云存儲應(yīng)用風(fēng)生水起[J]. 通訊世界, 2012, 08:46-47.</p><p>　　張楊. 一種個人云存儲服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué), 2012.</p><p>　　陳華英. 磁盤陣列RAID可靠性分析[J]. 電子科技大學(xué)學(xué)報, 2006, 03:403-405.<

48、;/p><p>　　曹陽. RAID技術(shù)實(shí)現(xiàn)及發(fā)展[J]. 電腦學(xué)習(xí), 2006, 04:43-44+60.</p><p>　　拓守恒. 云計(jì)算與云數(shù)據(jù)存儲技術(shù)研究[J]. 電腦開發(fā)與應(yīng)用, 2010, 09:1-3+9.</p><p>　　李凌. 云計(jì)算服務(wù)中數(shù)據(jù)安全的若干問題研究[D]. 中國科學(xué)技術(shù)大學(xué), 2013.</p><p>　

49、　王德政, 申山宏, 周寧寧. 云計(jì)算環(huán)境下的數(shù)據(jù)存儲[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2011, 04:81-84+89.</p><p>　　唐箭. 云存儲系統(tǒng)的分析與應(yīng)用研究[J]. 電腦知識與技術(shù), 2009, 20:5337-5338+5340.</p><p>　　賀博,王欣. 個人云存儲市場發(fā)展?fàn)顩r分析[J]. 現(xiàn)代電信科技, 2012, 08:11-14+19.</p&g

50、t;<p>　　周可,王樺,李春花. 云存儲技術(shù)及其應(yīng)用[J]. 中興通訊技術(shù), 2010, 04:24-27.</p><p>　　王佳雋, 呂智慧, 吳杰, 鐘亦平. 云計(jì)算技術(shù)發(fā)展分析及其應(yīng)用探討[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2010, 20:4404-4409.</p><p>　　劉貝, 湯斌. 云存儲原理及發(fā)展趨勢[J]. 科技信息, 2011, 05:470-4