高性能數(shù)據(jù)包捕獲系統(tǒng)的研究與實(shí)現(xiàn)
發(fā)布時間:2021-08-13 17:39
隨著網(wǎng)絡(luò)帶寬的快速提升,網(wǎng)絡(luò)領(lǐng)域面臨嚴(yán)峻的數(shù)據(jù)監(jiān)測任務(wù)。其中被動數(shù)據(jù)包捕獲技術(shù),在網(wǎng)絡(luò)安全和管理方面是所有監(jiān)測任務(wù)的基礎(chǔ)。但是目前流行的操作系統(tǒng)(如Linux等),并沒有為這種特殊應(yīng)用做優(yōu)化,當(dāng)網(wǎng)絡(luò)負(fù)載增大時,數(shù)據(jù)包捕獲的性能急劇下降。如何實(shí)現(xiàn)千兆網(wǎng)絡(luò)環(huán)境下的實(shí)時數(shù)據(jù)流量監(jiān)測,提高數(shù)據(jù)包捕獲性能是個熱點(diǎn)問題,如何在有限的時間和CPU資源下,盡量多的處理數(shù)據(jù)是實(shí)現(xiàn)捕獲系統(tǒng)的難點(diǎn)。本文主要研究了以Linux系統(tǒng)為基礎(chǔ),在配置多核處理器和Intel82576網(wǎng)卡的硬件平臺上,實(shí)現(xiàn)以千兆速率雙端口輸入的數(shù)據(jù)包捕獲系統(tǒng)。論文的主要工作包括:1)研究分析了數(shù)據(jù)包通過Linux內(nèi)核網(wǎng)絡(luò)協(xié)議棧到達(dá)用戶空間的流程。總結(jié)出通用操作系統(tǒng)在數(shù)據(jù)處理時,由于數(shù)據(jù)被多次拷貝、頻繁的系統(tǒng)調(diào)用導(dǎo)致上下文切換、中斷活鎖等問題,致使通用操作系統(tǒng)不適合做數(shù)據(jù)監(jiān)控平臺。2)分析研究目前在Linux上做高性能流量監(jiān)測的方案,如零拷貝、NAPI、PFRING、netmap等。并對當(dāng)前硬件的新特性做了說明如IOAT。3)在研究結(jié)果的基礎(chǔ)上,采用RSS網(wǎng)卡和開源的零拷貝方案netmap,實(shí)現(xiàn)本文的數(shù)據(jù)捕獲系統(tǒng)。...
【文章來源】:上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:77 頁
【學(xué)位級別】:碩士
【部分圖文】:
網(wǎng)絡(luò)接收的組成
上海交通大學(xué)工程碩士學(xué)位論文 Linux網(wǎng)絡(luò)處理架構(gòu)分析2.1.2 數(shù)據(jù)包接收操作網(wǎng)絡(luò)協(xié)議棧實(shí)現(xiàn)了協(xié)議族的處理(如 ARP,ICMP,UDP,TCP,IP 等)。數(shù)據(jù)包通過套接口機(jī)制從網(wǎng)絡(luò)棧送到應(yīng)用程序。如圖 2-2,呈現(xiàn)了 Linux 的數(shù)據(jù)包接收路徑。如果數(shù)據(jù)操作沒有被阻塞,運(yùn)行在用戶空間的程序能通過 read 函數(shù)從套接口緩存讀取數(shù)據(jù)。數(shù)據(jù)包到達(dá)網(wǎng)卡 FIFO 接收緩存后,PCI 總線控制網(wǎng)卡通過直接內(nèi)存訪問方式(DMA)傳輸?shù)絻?nèi)核 DMA內(nèi)存區(qū)(圖 2-2,操作 1),并且
圖2-3 Linux網(wǎng)絡(luò)結(jié)構(gòu)Fig.2-3 Linux network architecture2.1 影響響應(yīng)時間的因素每個數(shù)據(jù)包被接收時接收端的響應(yīng)時間解剖圖。如圖 2-4, 接收端的間是內(nèi)核里數(shù)據(jù)包傳輸延時和用戶空間程序響應(yīng)時間的加合。內(nèi)核里的括硬中斷延時、中斷服務(wù)(ISR)響應(yīng)時間、中斷到內(nèi)核的上下文切換時間處理響應(yīng)時間和內(nèi)核到用戶空間的上下文切換時間。硬中斷延時是指從觸發(fā)中斷到ISR開始執(zhí)行的時間。這里面做了如下編程中斷控制器(PIC)觸發(fā)中斷信號,CPU響應(yīng)中斷并開始中斷服務(wù)例程可以看作網(wǎng)卡固件程序傳輸數(shù)據(jù)到DMA緩存到中斷服務(wù)例程的上下文切大約要5 微秒,一般情況下抖動大約 15微秒,主要是由主機(jī)硬件導(dǎo)致。內(nèi)核里一些臨界區(qū)路徑里可能關(guān)閉中斷響應(yīng)并長時間執(zhí)行,這可能導(dǎo)致
【參考文獻(xiàn)】:
期刊論文
[1]基于網(wǎng)絡(luò)處理器的零拷貝技術(shù)[J]. 張宇雷,黃皓. 計算機(jī)應(yīng)用研究. 2007(01)
[2]基于Linux的高速網(wǎng)絡(luò)流量采集與分析模型研究[J]. 尹家生,周健,辜麗川. 計算機(jī)工程與應(yīng)用. 2006(10)
[3]零拷貝報文捕獲平臺的研究與實(shí)現(xiàn)[J]. 王佰玲,方濱興,云曉春. 計算機(jī)學(xué)報. 2005(01)
本文編號:3340860
【文章來源】:上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:77 頁
【學(xué)位級別】:碩士
【部分圖文】:
網(wǎng)絡(luò)接收的組成
上海交通大學(xué)工程碩士學(xué)位論文 Linux網(wǎng)絡(luò)處理架構(gòu)分析2.1.2 數(shù)據(jù)包接收操作網(wǎng)絡(luò)協(xié)議棧實(shí)現(xiàn)了協(xié)議族的處理(如 ARP,ICMP,UDP,TCP,IP 等)。數(shù)據(jù)包通過套接口機(jī)制從網(wǎng)絡(luò)棧送到應(yīng)用程序。如圖 2-2,呈現(xiàn)了 Linux 的數(shù)據(jù)包接收路徑。如果數(shù)據(jù)操作沒有被阻塞,運(yùn)行在用戶空間的程序能通過 read 函數(shù)從套接口緩存讀取數(shù)據(jù)。數(shù)據(jù)包到達(dá)網(wǎng)卡 FIFO 接收緩存后,PCI 總線控制網(wǎng)卡通過直接內(nèi)存訪問方式(DMA)傳輸?shù)絻?nèi)核 DMA內(nèi)存區(qū)(圖 2-2,操作 1),并且
圖2-3 Linux網(wǎng)絡(luò)結(jié)構(gòu)Fig.2-3 Linux network architecture2.1 影響響應(yīng)時間的因素每個數(shù)據(jù)包被接收時接收端的響應(yīng)時間解剖圖。如圖 2-4, 接收端的間是內(nèi)核里數(shù)據(jù)包傳輸延時和用戶空間程序響應(yīng)時間的加合。內(nèi)核里的括硬中斷延時、中斷服務(wù)(ISR)響應(yīng)時間、中斷到內(nèi)核的上下文切換時間處理響應(yīng)時間和內(nèi)核到用戶空間的上下文切換時間。硬中斷延時是指從觸發(fā)中斷到ISR開始執(zhí)行的時間。這里面做了如下編程中斷控制器(PIC)觸發(fā)中斷信號,CPU響應(yīng)中斷并開始中斷服務(wù)例程可以看作網(wǎng)卡固件程序傳輸數(shù)據(jù)到DMA緩存到中斷服務(wù)例程的上下文切大約要5 微秒,一般情況下抖動大約 15微秒,主要是由主機(jī)硬件導(dǎo)致。內(nèi)核里一些臨界區(qū)路徑里可能關(guān)閉中斷響應(yīng)并長時間執(zhí)行,這可能導(dǎo)致
【參考文獻(xiàn)】:
期刊論文
[1]基于網(wǎng)絡(luò)處理器的零拷貝技術(shù)[J]. 張宇雷,黃皓. 計算機(jī)應(yīng)用研究. 2007(01)
[2]基于Linux的高速網(wǎng)絡(luò)流量采集與分析模型研究[J]. 尹家生,周健,辜麗川. 計算機(jī)工程與應(yīng)用. 2006(10)
[3]零拷貝報文捕獲平臺的研究與實(shí)現(xiàn)[J]. 王佰玲,方濱興,云曉春. 計算機(jī)學(xué)報. 2005(01)
本文編號:3340860
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/3340860.html
最近更新
教材專著