微軟處理海量非結構化數(shù)據(jù)的技術和解決方案

1、微軟處理海量非結構化數(shù)據(jù)的技術和解決方案,DAT315,朱海峰高級技術方案顧問微軟（中國）有限公司,孫巍技術總監(jiān)北京中達金橋技術服務有限公司,,點擊此處修改二級標題將幻燈片標題設置為 “Title Case”標題字號為 40分或類似尺寸，并盡可能不換行將二級標題設置為 “sentence case”二級標題的字體顏色已經(jīng)在PPT模板中定義,議題,SQL Server 能力及案例文檔存儲技術發(fā)展趨勢案例討論,文檔存儲技

2、術發(fā)展趨勢,,新時代非結構型數(shù)據(jù)的挑戰(zhàn),,,,,,,,,未來的發(fā)展方向,統(tǒng)一標準的存儲平臺支持所有數(shù)據(jù)類型、各式,新數(shù)據(jù)形態(tài)成為標準實體,,單一數(shù)據(jù)平臺的應用，需要協(xié)調的數(shù)據(jù)存取,簡約、可擴展的管理模式,結構型、非結構型數(shù)據(jù)的集成,支持BLOB的抽象編程接口提供更多的‘服務’圍繞非結構化數(shù)據(jù)，例如：搜索，分析提供集成多種空間數(shù)據(jù)源的能力提供結構化和非結構化數(shù)據(jù)的關聯(lián)、集成屬性的提取/推廣靈活的架構適用于非關系型數(shù)據(jù)的關系型操

3、作,實體匯總,實體數(shù)據(jù)訪問,企業(yè)級數(shù)據(jù)查詢,通過實體架構實現(xiàn)對實體的直接搜索查詢針對多數(shù)據(jù)源的聯(lián)合并發(fā)搜索查詢與 Microsoft Office SharePoint Server 和 FAST 的集成,其他數(shù)據(jù)源,數(shù)據(jù)源1,數(shù)據(jù)源2,數(shù)據(jù)源3,FAST,企業(yè)查詢門戶,應用特定查詢,,,,,,SQL Server,SharePoint,SQLServer存儲,數(shù)據(jù)／文件流,可適用于不同網(wǎng)域的數(shù)據(jù)流服務，例如：金融、制造

4、，監(jiān)測數(shù)據(jù)基于歷史數(shù)據(jù)實現(xiàn)決策支持的和業(yè)務分析與現(xiàn)有SQL Server 部件集成，充分利用現(xiàn)有能力，例如：報表、數(shù)據(jù)分析,報警，報表,報表及數(shù)據(jù)分析,數(shù)據(jù)流服務引擎,數(shù)據(jù)流服務應用接口,,金融數(shù)據(jù)，例如：股票交易記錄,點將流量數(shù)據(jù)，例如;Web 日志,歷史數(shù)據(jù)流,SQL Server文檔存儲新技術,,文檔、多媒體文件的存儲,傳統(tǒng)的三種存儲模式,SQL Server 非結構型數(shù)據(jù)存儲技術,RBS - Remote B

5、lob Storage,FILESTREAM BLOB Storage,SQL BLOB,文件流(FILESTREAM)簡介,,非結構數(shù)據(jù)直接儲存于文件系統(tǒng)(使用NTFS文件系統(tǒng))VARBINARY(MAX) 數(shù)據(jù)類型上注明存儲屬性即可開啟文件流存儲功能豐富的雙重編程模式T-SQL語句(數(shù)據(jù)庫語法)編程Win32文件系統(tǒng)I/O編程接口支持數(shù)據(jù)庫事務屬性BLOBs 大小上限= 文件系統(tǒng)大小與SQL Server集成數(shù)據(jù)庫管理

6、，例如：備份、恢復...與SQL Server數(shù)據(jù)庫安全管理集成,RBS 技術簡介,,遠程BLOB存儲標準的存儲接口可使用不同存儲體系后端存儲無技術限制：文件系統(tǒng)、數(shù)據(jù)庫、文件流、專用文檔存儲等等后端存儲改變不影響應用(不需要改變)寬松（鏈路級）一致性保證SQL Server管理鏈路級一致性和垃圾收集，例如：刪除、更改等等市場趨勢RBS優(yōu)勢降低BLOB存儲成本降低數(shù)據(jù)庫工作負載，提高系統(tǒng)擴展性標準應用端借口可使用不

7、同存儲使用經(jīng)濟的普通服務器完成復雜的存儲和工作流要求,非結構型數(shù)據(jù)存儲技術一覽,,,演 示,使用不同方式訪問SQL Blob數(shù)據(jù),孫巍技術總監(jiān)北京中達金橋技術服務有限公司,SQL Server Blob數(shù)據(jù)訪問,SQL Server Blob訪問方式Filestream存儲T-SQL訪問Win32 API訪問Varbinary存儲訪問性能與Blob數(shù)據(jù)塊大小有關系統(tǒng)設計時需要對存儲數(shù)據(jù)的平均大小及使用模式進行評估,示例

8、代碼-TSQL,FilestreamSelect file from documents where docId=1Varbinary(max)Select file from documents where docId=1,示例代碼-Win32 API,[DllImport("sqlncli10.dll", SetLastError = true, CharSet = CharSet.Unicode)]s

9、tatic extern SafeFileHandle OpenSqlFilestream(string FilestreamPath,UInt32 DesiredAccess,UInt32 OpenOptions,byte[] FilestreamTransactionContext,UInt32 FilestreamTransactionContextLength,Int64 AllocationSize);,示例代碼-

10、Win32 API,SqlTransaction transaction = sqlConnection.BeginTransactio("mainTranaction");sqlCommand.Transaction = transactio;sqlCommand.CommandText ="SELECT GET_FILESTREAM_TRANSACTION_CONTEXT()";Obje

11、ct obj = sqlCommand.ExecuteScalar();byte[] txContext = (byte[])obj;SafeFileHandle handle = OpenSqlFilestream(filePath,DESIRED_ACCESS_READWRITE,SQL_FILESTREAM_OPEN_NO_FLAGS,txContext,(UInt32)txContext.Length,0);byte [

12、]buffer = new byte[512];FileStream fileStream = new FileStream(handle,FileAccess.ReadWrite,buffer.Length,false);,遠程讀取性能,遠程寫入性能,遠程更新性能,FILESTREAM最佳實踐,盡可能避免對多個小文件的附加操作，每個附加操作都將創(chuàng)建新的Filestream文件。如果必須建議使用varbinary(max)在高負載

13、的多線程系統(tǒng)中，可以考慮通過OpenSqlFilestream或SqlFilestream API設置AllocationSize,減少碎片如果文件很大，避免使用T-SQL進行更新或附加，這樣會對tempdb有很大開銷,FILESTREAM最佳實踐,當讀取FILESTREAM數(shù)據(jù)時考慮如下因素如果僅需要讀取初始的部分數(shù)據(jù)，可以使用substring函數(shù)如果讀取整個文件，考慮使用Win32 API當讀取整個文件時，指定FILE_S

14、EQUENTIAL_ONLY標志程序中的緩存盡量設置為60KB的整數(shù)倍,FILESTREAM最佳實踐,使用文件組及分區(qū)進行負載均衡NTFS優(yōu)化fsutil behavior set disable8dot3 1Fsutil behavior set disablelastaccess 1Format F:/FS:NTFS /A:64KRAID級別磁盤接口,Remote Blob Storage 技術框架及實現(xiàn),,RBS

15、架構,SQL FS lib,IBM lib,Centera lib,SQL RBS API,SQL Server,IBM,Centera,,,,SQL DB,,,供應商接口,客戶應用程序可以支持多種不同的Blob存儲機制或設備供應商將提供相應的接口類庫,RBS 服務創(chuàng)建讀取垃圾收集刪除,Net App lib,NetApp,,,,RBS 示例,文檔或多媒體數(shù)據(jù),應用程序,RBS 客戶端類庫,存儲供應商類庫,存儲,SQL Ser

16、ver,,,1,2,3,1,寫入 BLOB數(shù)據(jù)(圖片),返回BlobID,將BlobID 寫入PhotoRef 字段,2,3,機器邊界,RBS文檔寫流程,寫B(tài)lob 地址Reference,寫B(tài)lob,寫B(tài)lob,寫B(tài)lob,返回地址Reference,取得Collection 信息,清理,,App Machine應用服務機,SQL Server,終端用戶例如：瀏覽器,應用,觸發(fā)、存儲過程,服務,存儲接口,應用端接口,存儲接口,

17、Database Machine 數(shù)據(jù)庫服務機,用戶請求,RBS文檔讀流程,1 用戶請求,4 請求BLOB (標識),9 應用讀取BLOB,8 讀取BLOB,7 讀取BLOB,,App Machine應用服務機,SQL Server,終端用戶例如：瀏覽器,應用,觸發(fā)、存儲過程,應用端接口,存儲接口,Database Machine 數(shù)據(jù)庫服務機,10 用戶讀取BLOB,2 請求BLOB標識,３ 應用讀取BLOB標識,5 請求

18、BLOB (標識),6 請求BLOB(標識),演 示,使用RBS實現(xiàn)對于FILESTREAM的負載均衡,孫巍技術總監(jiān)北京中達金橋技術服務有限公司,,,,遠程文檔與文件流結合的文檔存儲解決方案,,解決方案特點,遠程BLOB存儲技術與FILESTREM文件流技術的集成由FILESTREM文件流存儲節(jié)點組成的存儲池可以迅速擴展（使用經(jīng)濟實惠的PC服務器）RBS后端的FILESTREM文件流接口提供多線程、多通道的負載均衡邏輯進行文檔的

19、讀寫負載分配可以用戶可以根據(jù)需要靈活調整存儲節(jié)點可轉變?yōu)椤爸蛔x”屬性（存儲歷史數(shù)據(jù)，不接受新檔案）可以迅速添加節(jié)點并重新設置負載均衡模式智能備份／恢復功能可以避免歷史性“只讀”數(shù)據(jù)的重復備份，顯著降低備份需要的時間和空間客戶生產(chǎn)環(huán)境顯示單線程文檔寫入可達到48M+/秒性能（限于存儲設備性能）,解決方案優(yōu)勢,按用戶需要擴展存儲池更合理的資源投入避免大規(guī)模初期投入造成空置設備、存儲空間的浪費后續(xù)投入經(jīng)濟上可得益于硬件價格的快

20、速跌落后續(xù)投入可取的更現(xiàn)代的技術，自然升級系統(tǒng)，且不需要更改應用服務器性能提升快，降價快存儲成本降低快，讀寫性能提高快分期擴展自然形成不同層次的存儲池，幫助信息生命周期的管理老舊數(shù)據(jù)在老一代存儲池，新數(shù)據(jù)、常用數(shù)據(jù)在新一代系統(tǒng)上，有更好性能可嵌入各種服務、應用對文檔數(shù)據(jù)進行整個生命周期的管理。例如：審計、備份、歸檔、刪除等等可集成各種不同存儲媒介進一步支持各種服務，例如NAS、磁帶或其他現(xiàn)有或未來存儲技術可嵌入智能緩沖區(qū)

21、，將當前文檔、歷史文檔、歸檔數(shù)據(jù)、備份集合在一起,RBS+文件流解決方案架構一中小型系統(tǒng)應用場景,FILESTREM文件流接口提供負載均衡、多線程、多通道文檔讀寫RBS+FILESTREM文件流存儲池可根據(jù)用戶需要使用經(jīng)濟實惠的PC服務機擴展,RBS+文件流解決方案架構二大型企業(yè)級應用場景,RBS+文件流存儲池,企業(yè)核心BLOB存儲系統(tǒng),,SQL RBS后端存儲接口Provider API,SQL DBRBS數(shù)據(jù)庫,,,,

22、,,,,Filestream 文件流存儲接口,橫向擴展,,,,,,,,,,SQL RBS 應用端接口Client API,客戶訂制應用,,,,,RBS接口,檔案管理使用場景,核心檔案存儲可通過服務層安全的提供各種應用借口檔案導入可嵌入智能保留期限識別模塊防火墻提供基礎保護如需要應用層可通過防火墻PORT FORWARDING功能延伸到外網(wǎng),企業(yè)核心檔案存儲使用RBS+文件流可擴展解決方案,調閱,其他,收集,查詢,管理,導入,安

23、全,服務接口,防火墻,建議使用硬件配置,市場性價比較好的PC服務機標準：4芯4核16G存儲標準光纖技術SAN或其他存儲設備估算方式至少2臺每臺承擔10-20T（當前數(shù)據(jù)使用）每臺承擔20-40T（歷史數(shù)據(jù)使用）設計應可達到單通道讀寫每秒40M以上（實際情況根據(jù)存儲設備吞吐量）,代碼字體或字號,請用此版面展示軟件代碼aaa請用展示字體為Courier New這一單一空間字體,模板顏色,字體，字號和顏色模式已經(jīng)在PPT模

24、板中定義請使用下面展示的顏色模式更多指示請參見下頁超文本銜接顏色: www.microsoft.com,SampleFill,SampleFill,SampleFill,SampleFill,SampleFill,視 頻,視頻名稱,姓名職務公司,演 示,演示名稱,姓名職務公司,客 戶,客戶名稱,姓名職務公司,合作伙伴,合作伙伴名稱,姓名職務公司,宣布,宣布題目,姓名職務公司,表格格式,圖標格式,餅圖格