【摘要】：隨著計算機(jī)技術(shù)的高速發(fā)展,互聯(lián)網(wǎng)已然與人們的生活緊緊結(jié)合在一起,成為人們分享信息的重要途徑。然而,大量不良網(wǎng)頁的出現(xiàn)使得網(wǎng)絡(luò)安全的形勢日趨嚴(yán)峻,成為人們關(guān)注的熱點(diǎn)。網(wǎng)頁內(nèi)容過濾是網(wǎng)絡(luò)安全中的重要研究領(lǐng)域,而編碼識別是網(wǎng)頁內(nèi)容過濾的必要前提。由于歷史和地域原因,中文編碼標(biāo)準(zhǔn)甚多,多種中文編碼共存給中文網(wǎng)頁的內(nèi)容過濾帶來了不便。因此,如何快速準(zhǔn)確識別網(wǎng)頁的編碼成為人們研究的熱門課題。本文介紹了國標(biāo)碼、大五碼、萬國碼等中文編碼的特征,研究了貝葉斯分類、Unigram和CodeFinder等編碼識別算法。上述算法無法排除網(wǎng)頁中ASCII碼的干擾,導(dǎo)致識別準(zhǔn)確率和時間效率低下。針對這一不足,本文提出了一種基于字頻分布的中文網(wǎng)頁編碼識別算法——FKI。FKI根據(jù)漢字的字頻分布,選取使用頻度較高的字符構(gòu)成高頻字符表,以高頻字符編碼作為關(guān)鍵字,在待識別網(wǎng)頁中查找,跳過了噪聲(如ASCII碼等)的干擾。通過比較不同碼制的編碼在網(wǎng)頁中的匹配數(shù)目,最終判定待識別網(wǎng)頁的真實碼制。FKI算法選取高頻字符作為關(guān)鍵字,這些關(guān)鍵字在中文網(wǎng)頁內(nèi)具有超高的使用率,使得算法幾乎適用于所有中文網(wǎng)頁編碼的識別。對AC算法進(jìn)行改進(jìn),使之適合網(wǎng)頁內(nèi)中文高頻字符編碼的匹配。改進(jìn)的AC算法構(gòu)建反向狀態(tài)自動機(jī),以字節(jié)為單位進(jìn)行關(guān)鍵字查找。當(dāng)出現(xiàn)字節(jié)失配時,以“0”狀態(tài)所對應(yīng)的字節(jié)作為失配字節(jié)計算跳轉(zhuǎn)距離,.增大了失配時的跳轉(zhuǎn)距離,從而提高中文編碼的匹配效率。最后,對FKI算法、Unigram算法和CodeFinder算法進(jìn)行了對比測試。實驗結(jié)果表明,與上述兩種算法相比,FKI算法的編碼識別準(zhǔn)確率較高且具有優(yōu)越的時間效率,適合對未知碼制類型的中文網(wǎng)頁進(jìn)行快速準(zhǔn)確的編碼識別。
[Abstract]:With the rapid development of computer technology, the Internet has become an important way for people to share information. However, with the emergence of a large number of bad web pages, the situation of network security is becoming more and more serious, which has become the focus of attention. Web content filtering is an important research field in network security, and coding and recognition is a necessary prerequisite for web content filtering. Due to historical and regional reasons, there are many Chinese coding standards, and the coexistence of multiple Chinese codes brings inconvenience to the content filtering of Chinese web pages. Therefore, how to quickly and accurately identify the coding of web pages has become a hot topic. This paper introduces the features of Chinese coding such as GB code, large five code and Wanguo code, and studies the coding recognition algorithms such as Bayesian classification, Unigram and CodeFinder. The above algorithms can not eliminate the interference of ASCII codes in web pages, resulting in low recognition accuracy and time efficiency. In order to solve this problem, a Chinese page coding recognition algorithm based on word frequency distribution is proposed in this paper. According to the word frequency distribution of Chinese characters, FKI.FKI selects the characters with high frequency to form a high frequency character table. The high frequency character encoding is used as the key word to be searched in the web page to be identified, and the noise (such as ASCII code) is avoided. By comparing the matching number of different codes in the web page, the real code system of the web page to be identified is finally determined. The FKI algorithm selects high-frequency characters as keywords, and these keywords have a high utilization rate in Chinese web pages. The algorithm is suitable for almost all Chinese web page coding recognition. The AC algorithm is improved to fit the matching of Chinese high frequency character encoding in web pages. The improved AC algorithm constructs the reverse state automaton and searches keywords in bytes. When a byte mismatch occurs, the jump distance is calculated by using the byte corresponding to the "0" state as the mismatch byte. The jump distance of mismatch is increased, and the matching efficiency of Chinese coding is improved. Finally, the FKI algorithm, Unigram algorithm and CodeFinder algorithm are compared and tested. The experimental results show that compared with the above two algorithms, the FKI algorithm has higher accuracy and superior time efficiency, and is suitable for fast and accurate coding recognition of Chinese web pages with unknown coding system.
【學(xué)位授予單位】：合肥工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP391.1;TP393.092

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;中文網(wǎng)頁薈萃(一)[J];信息經(jīng)濟(jì)與技術(shù);1997年03期

2 ;中文網(wǎng)頁薈萃(二)[J];信息經(jīng)濟(jì)與技術(shù);1997年04期

3 陽愛民,孫星明,胡運(yùn)發(fā),李長云;跨平臺中文網(wǎng)頁閱讀系統(tǒng)[J];計算機(jī)工程;2002年12期

4 馮是聰,王繼民;關(guān)于“中文網(wǎng)頁自動分類競賽”結(jié)果的分析[J];中文信息學(xué)報;2003年05期

5 孫瑤琴;;基于內(nèi)容的中文網(wǎng)頁自動分類系統(tǒng)[J];中國校外教育;2009年07期

6 楊俊峰;;一種中文網(wǎng)頁消重算法的設(shè)計與實現(xiàn)[J];電子技術(shù);2013年09期

7 王鵬;;ZDNet結(jié)識“人間煙火”[J];每周電腦報;1997年48期

8 張莉,康耀紅,王曙光,張春元;中文網(wǎng)頁自動分類現(xiàn)狀的研究[J];福建電腦;2004年05期

9 ;要聞集錦[J];計算機(jī)與農(nóng)業(yè);1997年04期

10 ;資訊快遞[J];航空港;2009年06期

相關(guān)會議論文 前1條

1 李靜靜;閆宏飛;;中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

相關(guān)重要報紙文章 前8條

1 ;網(wǎng)上書屋介紹[N];光明日報;2000年

2 劉亭;在線保護(hù)你的系統(tǒng)[N];中國電腦教育報;2002年

3 天津 武金剛;豆仔熱線[N];電腦報;2003年

4 奚東;網(wǎng)絡(luò)語言的“狗化”現(xiàn)象[N];財經(jīng)時報;2000年

5 本報記者 趙齊;慧聰今秋對決GOOGLE[N];國際商報;2003年

6 坦冰;圖片搜索引擎“巨無霸”亮相中國[N];國際商報;2004年

7 記者 熊偉;慧聰搜索揚(yáng)言要趕超Google[N];計算機(jī)世界;2003年

8 王哲邋汪秀芬;火狐登陸中國能否“紅火”？[N];中國貿(mào)易報;2007年

相關(guān)碩士學(xué)位論文 前10條

1 鄒加棋;中文網(wǎng)頁自動分類關(guān)鍵技術(shù)研究[D];福州大學(xué);2006年

2 陳文斐;基于形式概念分析的中文網(wǎng)頁分類研究[D];西華大學(xué);2011年

3 劉文琦;中文網(wǎng)頁自動分類技術(shù)的研究與實現(xiàn)[D];哈爾濱工程大學(xué);2007年

4 張浩;基于字頻分布的中文網(wǎng)頁編碼識別研究[D];合肥工業(yè)大學(xué);2014年

5 劉海春;基于樸素貝葉斯的中文網(wǎng)頁分類技術(shù)研究與應(yīng)用[D];華南理工大學(xué);2012年

6 金一寧;基于KNN及相關(guān)鏈接的中文網(wǎng)頁分類研究[D];哈爾濱工程大學(xué);2008年

7 王緒峰;基于SVM的中文網(wǎng)頁多類分類問題研究及實現(xiàn)[D];云南師范大學(xué);2007年

8 張博;基于內(nèi)容安全的中文網(wǎng)頁過濾系統(tǒng)[D];西安電子科技大學(xué);2006年

9 馮靜;基于向量空間模型的中文網(wǎng)頁自動分類技術(shù)研究[D];中國石油大學(xué);2008年

10 葛永興;基于貝葉斯算法和后向鏈接的中文網(wǎng)頁組合分類研究[D];東北師范大學(xué);2009年

，

本文編號：2297947