ITC網(wǎng)絡數(shù)據(jù)采集與共享系統(tǒng)

主要功能

　　實現(xiàn)對互聯(lián)網(wǎng)專業(yè)數(shù)據(jù)資源的自動采集、分發(fā)和共享，以及下載和分發(fā)過程的可視化監(jiān)控。系統(tǒng)通過任務管理的方式實現(xiàn)對數(shù)據(jù)采集任務和數(shù)據(jù)分發(fā)任務的動態(tài)配置管理，通過任務調(diào)度合理分配系統(tǒng)資源，以適應海量數(shù)據(jù)采集與分發(fā)的需要。系統(tǒng)提供友好的可視化監(jiān)控界面，方便用戶對任務的運行狀況進行監(jiān)視，并在必要的時候采取適當?shù)娜斯じ深A手段。系統(tǒng)還能夠自動生成業(yè)務運行狀態(tài)報告，通過郵件等方式將報告自動發(fā)送給相關負責人員。對于已下載的網(wǎng)站數(shù)據(jù)，系統(tǒng)還提供相應的統(tǒng)計分析功能。

主要功能模塊

任務配置

　　系統(tǒng)提供對各類數(shù)據(jù)下載任務和數(shù)據(jù)分發(fā)任務進行靈活配置的功能，并根據(jù)網(wǎng)站提供數(shù)據(jù)方式的不同，對任務進行分類管理。

任務生成

　　根據(jù)任務配置的啟動時間等信息，自動生成需要執(zhí)行的任務并將其放入任務隊列，等待任務調(diào)度對任務進行處理。

任務調(diào)度

　　按各任務的啟動時間來啟動數(shù)據(jù)下載和數(shù)據(jù)分發(fā)任務，監(jiān)視已運行任務的狀態(tài)，并將任務執(zhí)行狀態(tài)記錄下載

任務監(jiān)控

　　用來實時監(jiān)視和控制任務執(zhí)行的情況。

業(yè)務運行報告

　　系統(tǒng)根據(jù)用戶的需要，提供網(wǎng)絡數(shù)據(jù)采集與共享系統(tǒng)業(yè)務運行報告的自動生成和分發(fā)。

統(tǒng)計分析

　　對任務和已下載數(shù)據(jù)提供統(tǒng)計分析的功能。