智能視頻監(jiān)控技術(shù)在公共安全、交通管理、智慧城市等方面有著廣泛的運用前景,需求日益增長。隨著攝像頭安裝的數(shù)量越來越多,采集的圖像數(shù)據(jù)量越來越大,靠單臺計算機(jī)處理已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足需求了。分布式計算的興起與發(fā)展為解決大規(guī)模的數(shù)據(jù)處理問題提供了很好的途徑。使用一種基于Spark Streaming的視頻/圖像流處理的測試平臺,闡述了平臺的構(gòu)成和工作流程,深入研究各個參數(shù)對集群性能的影響,創(chuàng)新性地提出了CPU時間占用率作為性能評估指標(biāo),與總的處理時間結(jié)合,更為全面反映集群性能和資源利用率。 

【文章來源】：計算機(jī)工程與科學(xué). 2015,37(11)北大核心CSCD

【文章頁數(shù)】：6 頁

【部分圖文】：

圖１測試平臺的組成Ｆｉｇｕｒｅ１Ｃｏｍｐｏｓｉｔｉｏｎｏｆｔｈｅｔｅｓｔｉｎｇｐｌａｔｆｏｒｍｓ

ＯｐｅｎＣＶ庫，圖像信息需要進(jìn)一步解碼和轉(zhuǎn)換得到ＯｐｅｎＣＶ對應(yīng)的Ｍａｔ類型再進(jìn)行處理。整個數(shù)據(jù)的序列化以及傳輸采用的是ｂｙｔｅ［］基本類型數(shù)組。本文采用圖像的ＨＯＧ（ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎ－ｔｅｄＧｒａｄｉｅｎｔ）［８］特征檢測作為測試，ＨＯＧ特征已經(jīng)被廣泛運用在圖像識別中，特別是在行人檢測方面獲得了很大的成功。如圖２所示為ＨＯＧ特征行人檢測的效果圖，方框為檢測的結(jié)果。Ｆｉｇｕｒｅ２ＲｅｓｕｌｔｏｆｔｈｅＨＯＧｄｅｔｅｃｔｉｏｎ圖２ＨＯＧ特征檢測效果圖２．３數(shù)據(jù)存儲數(shù)據(jù)存儲采用多種存儲結(jié)合的方式，針對不同的應(yīng)用采取不同的存儲方式，主要有本地存儲、Ｈａｄｏｏｐ分布式存儲ＨＤＦＳ和分布式數(shù)據(jù)庫ＨＢａｓｅ等。如網(wǎng)頁應(yīng)用可以將結(jié)果返回集群的Ｄｒｉｖｅｒ的本地存儲，這樣可以快速獲取結(jié)果。２．４數(shù)據(jù)包設(shè)計數(shù)據(jù)包的組織形式如圖３所示。Ｆｉｇｕｒｅ３Ｆｏｒｍａｔｏｆｄａｔａｐａｃｋｅｔｓ圖３數(shù)據(jù)包的格式（１）Ｂｌｏｃｋ（０）：數(shù)據(jù)包頭部，整型，四個字節(jié)，記錄后面一個數(shù)據(jù)的總長度；（２）Ｂｌｏｃｋ（２ｋ＋１）：整型，四個字節(jié)，記錄Ｂｌｏｃｋ（２ｋ＋２）的字節(jié)長度（ｋ＝０，１，２，…，ｎ）；（３）Ｂｌｏｃｋ（２ｋ＋２）：任意長的字節(jié)數(shù)組，是真正的數(shù)據(jù)（ｋ＝０，１，２，…，ｎ）；（４）Ｂｌｏｃｋ（２ｋ＋３）：ＣＲＣ校驗，一個字節(jié)。２．５ＲＤＤ中的數(shù)據(jù)包數(shù)據(jù)包在ＲＤＤ（ＲｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂｕｔｅｄＤａｔａ－ｓｅｔｓ）中的抽象如圖４所示。在Ｒｅｃｅｉｖｅ

別中，特別是在行人檢測方面獲得了很大的成功。如圖２所示為ＨＯＧ特征行人檢測的效果圖，方框為檢測的結(jié)果。Ｆｉｇｕｒｅ２ＲｅｓｕｌｔｏｆｔｈｅＨＯＧｄｅｔｅｃｔｉｏｎ圖２ＨＯＧ特征檢測效果圖２．３數(shù)據(jù)存儲數(shù)據(jù)存儲采用多種存儲結(jié)合的方式，針對不同的應(yīng)用采取不同的存儲方式，主要有本地存儲、Ｈａｄｏｏｐ分布式存儲ＨＤＦＳ和分布式數(shù)據(jù)庫ＨＢａｓｅ等。如網(wǎng)頁應(yīng)用可以將結(jié)果返回集群的Ｄｒｉｖｅｒ的本地存儲，這樣可以快速獲取結(jié)果。２．４數(shù)據(jù)包設(shè)計數(shù)據(jù)包的組織形式如圖３所示。Ｆｉｇｕｒｅ３Ｆｏｒｍａｔｏｆｄａｔａｐａｃｋｅｔｓ圖３數(shù)據(jù)包的格式（１）Ｂｌｏｃｋ（０）：數(shù)據(jù)包頭部，整型，四個字節(jié)，記錄后面一個數(shù)據(jù)的總長度；（２）Ｂｌｏｃｋ（２ｋ＋１）：整型，四個字節(jié)，記錄Ｂｌｏｃｋ（２ｋ＋２）的字節(jié)長度（ｋ＝０，１，２，…，ｎ）；（３）Ｂｌｏｃｋ（２ｋ＋２）：任意長的字節(jié)數(shù)組，是真正的數(shù)據(jù)（ｋ＝０，１，２，…，ｎ）；（４）Ｂｌｏｃｋ（２ｋ＋３）：ＣＲＣ校驗，一個字節(jié)。２．５ＲＤＤ中的數(shù)據(jù)包數(shù)據(jù)包在ＲＤＤ（ＲｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂｕｔｅｄＤａｔａ－ｓｅｔｓ）中的抽象如圖４所示。在Ｒｅｃｅｉｖｅｒ接收到數(shù)據(jù)包之后會保存到ＡｒｒａｙＢｕｆｆｅｒ中，ＡｒｒａｙＢｕｆｆｅｒ最終會被包裝成ＲｅｃｅｉｖｅｄＢｌｏｃｋ并保存在Ｂｌｏｃｋ－Ｍａｎａｇｅｒ中。在提交Ｊｏｂ的時候這些Ｒｅｃｅｉｖｅｄ－Ｂｌｏｃｋ會抽象成ＲＤＤ，每個ＲｅｃｅｉｖｅｄＢｌｏｃｋ對應(yīng)一個ｐａｒｔｉｔｉｏｎ并

【參考文獻(xiàn)】：
期刊論文
[1]智能視頻監(jiān)控技術(shù)綜述[J]. 黃凱奇,陳曉棠,康運鋒,譚鐵牛.  計算機(jī)學(xué)報. 2015(06)



本文編號：3213092