隨著Web站點(diǎn)規(guī)模的增大，所涉及的應(yīng)用服務(wù)種類越來越多。所謂網(wǎng)站（Website），就是指在網(wǎng)際網(wǎng)路（因特網(wǎng)）上，根據(jù)一定的規(guī)則，使用HTML等工具制作的用於展示特定內(nèi)容的相關(guān)網(wǎng)頁(yè)的集合。簡(jiǎn)單地說，網(wǎng)站是一種通訊工具，就像布告欄一樣，人們可以通過網(wǎng)站來發(fā)布自己想要公開的資訊（信息），或者利用網(wǎng)站來提供相關(guān)的網(wǎng)路服務(wù)（網(wǎng)絡(luò)服務(wù)）。人們可以通過網(wǎng)頁(yè)瀏覽器來訪問網(wǎng)站，獲取自己需要的資訊（信息）或者享受網(wǎng)路服務(wù)。站點(diǎn)的監(jiān)控和統(tǒng)計(jì)分析已成為站點(diǎn)建設(shè)的一項(xiàng)重要內(nèi)容。Web服務(wù)器的訪問日志文件記錄了客戶端每次請(qǐng)求的細(xì)節(jié)，因此，對(duì)Web站點(diǎn)訪問日志進(jìn)行分析，已成為評(píng)估網(wǎng)站運(yùn)行質(zhì)量的一種常用方法。

大型Web站點(diǎn)的日志文件的重要特征是數(shù)據(jù)量巨大，每日幾百兆甚至上千兆，并且隨著時(shí)間推移不斷增加。因此很多站點(diǎn)對(duì)日志文件進(jìn)行按日分割（即每天產(chǎn)生1個(gè)文件），而這樣就帶來日志文件的離散性。傳統(tǒng)日志分析系統(tǒng)過多關(guān)注日志分析的效率問題，而忽略了對(duì)離散文件進(jìn)行連續(xù)分析的研究及對(duì)每次分析結(jié)果的結(jié)構(gòu)化保存問題。隨著數(shù)據(jù)挖掘技術(shù)逐漸由理論到實(shí)踐以及人們對(duì)海量數(shù)據(jù)的利用越來越關(guān)注，進(jìn)行持續(xù)分析以及對(duì)分析結(jié)果進(jìn)行結(jié)構(gòu)化存儲(chǔ)甚至比效率顯得更加重要。

現(xiàn)代關(guān)系數(shù)據(jù)庫(kù)很重視原始數(shù)據(jù)的導(dǎo)入，一般都提供數(shù)據(jù)導(dǎo)入工具，本文就是通過在日志分析系統(tǒng)中嵌入SQL-SERVER的DTS，從而使系統(tǒng)既有較高的執(zhí)行效率，又很好地解決了離散文件的連續(xù)性分析與存儲(chǔ)問題。

　　1  DTS介紹

大多數(shù)組織都使用多種格式和多個(gè)位置來存儲(chǔ)數(shù)據(jù)。為了支持決策、改善系統(tǒng)性能或?qū)ΜF(xiàn)有系統(tǒng)進(jìn)行升級(jí)，經(jīng)常必須將數(shù)據(jù)從一個(gè)數(shù)據(jù)存儲(chǔ)位置移動(dòng)到另一個(gè)存儲(chǔ)位置。Microsoft SQL Server 2000 數(shù)據(jù)轉(zhuǎn)換服務(wù)（DTS ）提供一組工具，可以從不同的源將數(shù)據(jù)抽取、轉(zhuǎn)換和合并到一個(gè)或多個(gè)目標(biāo)位置。要利用SQL-SERVER的這一強(qiáng)大功能，首先要建立DTS包。DTS包是數(shù)據(jù)轉(zhuǎn)換服務(wù)的可執(zhí)行單元，每個(gè)包都包含1個(gè)或多個(gè)順序或并行執(zhí)行的程序步驟。當(dāng)包執(zhí)行時(shí)，首先連接到正確的數(shù)據(jù)源，然后復(fù)制數(shù)據(jù)和數(shù)據(jù)庫(kù)對(duì)象，完成數(shù)據(jù)轉(zhuǎn)換工作。每個(gè)軟件包可包含一組已安排好的任務(wù)，它們定義要執(zhí)行的工作、對(duì)數(shù)據(jù)和對(duì)象的轉(zhuǎn)換、定義任務(wù)執(zhí)行的工作流約束條件以及數(shù)據(jù)源和目標(biāo)間的連接方式。DTS 軟件包還提供一些服務(wù)，如記錄軟件包執(zhí)行詳細(xì)情況、控制事務(wù)和處理全局變量。

創(chuàng)建好DTS包后，便可在客戶端通過DTS執(zhí)行實(shí)用工具（如dtsrun）進(jìn)行調(diào)用，這樣就可將特定格式的數(shù)據(jù)從不同的數(shù)據(jù)源導(dǎo)入目的數(shù)據(jù)庫(kù)中。由于DTS是系統(tǒng)提供的一種多線程數(shù)據(jù)遷移工具，因此具有很高的轉(zhuǎn)換效率。詳細(xì)的關(guān)于如何創(chuàng)建DTS包和dtsrun的調(diào)用方法請(qǐng)參考相關(guān)專著和SQL-SERVER聯(lián)機(jī)幫助。

　　2  系統(tǒng)設(shè)計(jì)

通過上面的分析，本文認(rèn)為運(yùn)用DTS技術(shù)能夠很好地解決日志系統(tǒng)運(yùn)行效率與數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)之間的瓶頸問題。整個(gè)系統(tǒng)的架構(gòu)。本設(shè)計(jì)基本實(shí)現(xiàn)了以下目標(biāo)。

　?。?）適合日志文件的多樣性

現(xiàn)有多種流行的Web服務(wù)器，如Apache、IIS等。不同服務(wù)器的訪問日志文件所記錄的內(nèi)容大同小異，如請(qǐng)求資源、請(qǐng)求時(shí)間、客戶IP、服務(wù)器IP、發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)等，然而記錄格式卻不盡相同。

由此可見，日志文件屬于半結(jié)構(gòu)化的文本文件。對(duì)于這樣的文件DTS是不能夠直接導(dǎo)入到數(shù)據(jù)庫(kù)中的。因此，在原始日志文件到本地后，應(yīng)該對(duì)文件進(jìn)行規(guī)范化處理，這里稱為日志文件的歸一化處理，即將不同的日志格式轉(zhuǎn)換成一種DTS可以直接操作的文件格式。

　?。?）離散非結(jié)構(gòu)數(shù)據(jù)的結(jié)構(gòu)化存儲(chǔ)

日志文件在進(jìn)行歸一化處理后，便可使用DTS服務(wù)了。首先通過向?qū)В╓izard）或數(shù)據(jù)轉(zhuǎn)換服務(wù)中的工具定義一個(gè)DTS包，其中數(shù)據(jù)源是經(jīng)過歸一化處理的日志文件，導(dǎo)入目的庫(kù)是系統(tǒng)使用的數(shù)據(jù)庫(kù)。一切定義好之后，便可以將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)表中。

　?。?）進(jìn)行遠(yuǎn)程離線統(tǒng)計(jì)

分析系統(tǒng)應(yīng)該盡量做到對(duì)Web服務(wù)器的無干擾操作，否則會(huì)影響Web服務(wù)器的正常工作。為此，分析系統(tǒng)應(yīng)該在物理上與Web服務(wù)器隔離，使之位于另一臺(tái)服務(wù)器上，甚至另一個(gè)網(wǎng)絡(luò)中。

　?。?）分析功能的定制性

功能定制也稱為基于組件的軟插拔技術(shù)，是現(xiàn)代軟件所倡導(dǎo)的技術(shù)之一。因此，本系統(tǒng)的分析功能采用基于軟組件的方法，實(shí)現(xiàn)了系統(tǒng)功能的配置與定制。數(shù)據(jù)在導(dǎo)入數(shù)據(jù)庫(kù)系統(tǒng)之后，便可以利用關(guān)系數(shù)據(jù)庫(kù)和編程語(yǔ)言的強(qiáng)大功能進(jìn)行數(shù)據(jù)挖掘和分析處理。

　?。?）功能豐富的報(bào)表輸出B/S方式

B/S方式已成為人機(jī)交互和信息表現(xiàn)的主流方式。本系統(tǒng)也是通過該方式顯示分析結(jié)果，通過豐富的報(bào)表、統(tǒng)計(jì)圖等直觀的手段，為網(wǎng)站管理者和決策者提供有價(jià)值的信息。

　　3  系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)由2部分組成，其中后臺(tái)服務(wù)程序負(fù)責(zé)完成日志文件、歸一化處理、DTS入庫(kù)、分析等功能，根據(jù)需要可以設(shè)置為自動(dòng)運(yùn)行和手動(dòng)運(yùn)行?，F(xiàn)已實(shí)現(xiàn)了訪問統(tǒng)計(jì)功能、頻道統(tǒng)計(jì)功能、熱門頁(yè)面（HotPage）排行和用戶地域分析等功能。前臺(tái)顯示程序是基于B/S結(jié)構(gòu)，通過統(tǒng)計(jì)表和統(tǒng)計(jì)圖方式直觀地展示分析結(jié)果。本系統(tǒng)采用Java語(yǔ)言開發(fā)，為系統(tǒng)移植和擴(kuò)展提供了方便。

　4  結(jié)束語(yǔ)

本文介紹了Web日志分析系統(tǒng)的特點(diǎn)和目前研究重點(diǎn)，并概要介紹了Microsoft SQL Server的DTS技術(shù)。在此基礎(chǔ)上開發(fā)的Web日志分析系統(tǒng)，較好地解決了日志系統(tǒng)運(yùn)行效率與數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)之間的瓶頸問題。該系統(tǒng)采用了主流的軟件技術(shù)，架構(gòu)清晰，可擴(kuò)展性較好。該系統(tǒng)操作簡(jiǎn)單，功能實(shí)用，目前已在多個(gè)大型Web站點(diǎn)獲得了成功的應(yīng)用，為網(wǎng)站管理者和決策者提供了大量有價(jià)值的信息。