網站實時時序數(shù)據采集系統(tǒng)的設計與實現(xiàn).pdf

1、隨著經濟和技術的進步、互聯(lián)網的普及和信息高速公路的發(fā)展，在社會的各個角落，存在著大量的實時變化的數(shù)據。有些實時變化的數(shù)據與人們的生活密切相關，如股票，外匯牌價等。這些數(shù)據信息雖然可以通過網站實時觀察，但是數(shù)據本身無法得到。
　　 本文針對這一問題設計了網站時序數(shù)據采集系統(tǒng)。本文針對當前網站數(shù)據采集系統(tǒng)的種種不足，詳細分析了網站數(shù)據采集系統(tǒng)的需求，深入研究了網站數(shù)據分析與提取的方法，并在此基礎上設計實現(xiàn)了網站實時時序數(shù)據采集系統(tǒng)，

2、解決了獲取網頁數(shù)據盲目性大及網頁數(shù)據本身無法得到的問題，實現(xiàn)了網址自動生成、用戶定位數(shù)據、網頁數(shù)據快速采集、數(shù)據查詢及生成變化曲線等重要功能。本系統(tǒng)的重點在于建立通用的網頁數(shù)據解析規(guī)則，做到能夠對大部分網站的動態(tài)數(shù)據進行采集。運用多線程技術解決了網頁下載時程序界面不響應的問題，通過建立配置文件解決了重啟系統(tǒng)時需要重新設置的問題。程序統(tǒng)一字符編碼為“utf8”。系統(tǒng)界面力求簡潔，易用。建立了菜單欄，整個界面只有一個按鈕，所有設置項均通過彈