基于空間文本信息流的分布式的發(fā)布訂閱系統(tǒng)
發(fā)布時(shí)間:2021-01-25 03:07
隨著全球定位系統(tǒng)的飛速發(fā)展和廣泛應(yīng)用,以及社交媒體技術(shù)的發(fā)展,網(wǎng)絡(luò)同人們的日常生活息息相關(guān),大量包含空間位置數(shù)據(jù)的社交信息被發(fā)布到網(wǎng)絡(luò)中,并且被感興趣的人們從社交軟件上捕獲,以方便日常生活。這類社交活動(dòng)擁有很強(qiáng)烈的空間局限性和信息及時(shí)性。人們的生活空間局限在某一個(gè)區(qū)域,該區(qū)域的信息能夠更加強(qiáng)烈的影響生活在該區(qū)域的人民。同樣,信息具有時(shí)效,接受信息的及時(shí)程度影響著人們的判斷,所以如果能夠及時(shí)的獲取重要的信息,能夠很大程度的方便人們的生活。這就是本文研究的發(fā)布訂閱系統(tǒng),發(fā)布者將信息發(fā)布到網(wǎng)絡(luò)中,被訂閱的人及時(shí)下載,能夠極大的方便人們的日常生活。傳統(tǒng)的發(fā)布訂閱系統(tǒng)忽略了及時(shí)性的研究,并且對(duì)空間信息的利用不夠充分。本文的發(fā)布訂閱系統(tǒng),基于一個(gè)拓?fù)淠P?提出了一個(gè)可以在該分布式系統(tǒng)上應(yīng)用的即時(shí)的發(fā)布訂閱的算法,隨后又提出了將自組織增量學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(soinn)應(yīng)用在原始算法之上的優(yōu)化算法,并且提出了在分布式系統(tǒng)上該算法的負(fù)載均衡策略,最后,又提出了該算法的一個(gè)哈希優(yōu)化策略。具體內(nèi)容包括以下幾個(gè)方面:(1)即時(shí)的發(fā)布訂閱算法:目前的該類系統(tǒng)算法,多是批處理算法,本文提出了一個(gè)分布式系統(tǒng)上的即時(shí)的發(fā)...
【文章來源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁數(shù)】:61 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
基礎(chǔ)的發(fā)布訂閱系統(tǒng)示意圖
訂閱分布
哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-11-圖2-3模擬聚類結(jié)果接下來討論應(yīng)該在算法中如何保存空間位置和屬性信息。首先面對(duì)空間信息,傳統(tǒng)的單處理中心的發(fā)布訂閱系統(tǒng),為了對(duì)到來的事件進(jìn)行及時(shí)的聚類,多維持一個(gè)樹狀結(jié)構(gòu)(因?yàn)榇蠖嗖扇∫粋(gè)樹狀結(jié)構(gòu)的分類算法:kd-tree,R-tree),并且會(huì)把屬性信息賦予每個(gè)節(jié)點(diǎn),在進(jìn)行子節(jié)點(diǎn)選擇時(shí)同時(shí)考慮空間和屬性信息,這種結(jié)構(gòu)可以使得時(shí)間復(fù)雜度維持在log(n),但是隨著數(shù)據(jù)量的增大,樹狀結(jié)構(gòu)顯示出幾個(gè)不足之處:(1)維持一個(gè)樹狀結(jié)構(gòu)會(huì)消耗大量的內(nèi)存,而且樹狀結(jié)構(gòu)的改變也會(huì)消耗大量資源。(2)在分布式系統(tǒng)中,不同的分布式節(jié)點(diǎn)需要統(tǒng)一數(shù)據(jù),并行節(jié)點(diǎn)的數(shù)據(jù)在樹狀結(jié)構(gòu)上融合,極其困難。所以本文采取網(wǎng)格的結(jié)構(gòu)來存儲(chǔ)空間數(shù)據(jù),網(wǎng)格結(jié)構(gòu)同樣會(huì)消耗大量內(nèi)存,但是其訪問速度極快,而且網(wǎng)格結(jié)構(gòu)下,相鄰類別的合并和劃分要快于樹狀結(jié)構(gòu),對(duì)于即時(shí)的分布式系統(tǒng),速度顯然至關(guān)重要。而且異步數(shù)據(jù)的融合統(tǒng)一在網(wǎng)格上要比在樹結(jié)構(gòu)上簡單。面對(duì)事件的屬性信息,數(shù)據(jù)結(jié)構(gòu)有前綴樹,倒排索引等。由以上分析,樹結(jié)構(gòu)很適合單計(jì)算中心純內(nèi)存的算法,在每個(gè)類別中,前綴樹在對(duì)新增加的訂閱進(jìn)行分類時(shí),具有很大的優(yōu)勢,可以快速的查找到該訂閱應(yīng)該添加的位置,同時(shí)在面對(duì)將發(fā)布的事件推送給對(duì)應(yīng)的訂閱時(shí),可以在遍歷樹的過程中,對(duì)樹的節(jié)點(diǎn)進(jìn)行過濾,只保留在事件中出現(xiàn)的屬性的節(jié)點(diǎn),而且一般一個(gè)事件的屬性個(gè)數(shù)不會(huì)太大(一般小于5),所以樹的高度不會(huì)太高。但是在分布式環(huán)境中如果存在多個(gè)并行節(jié)點(diǎn)的合并,大型的前綴樹在合并多個(gè)由于并行而不同的樹時(shí)較為繁瑣。倒排索引在面對(duì)新訂閱分類時(shí)則結(jié)構(gòu)簡單,可以快速的合并數(shù)據(jù),所以本文采取倒排索引的結(jié)構(gòu)。
【參考文獻(xiàn)】:
期刊論文
[1]自組織增量學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)綜述[J]. 邱天宇,申富饒,趙金熙. 軟件學(xué)報(bào). 2016(09)
本文編號(hào):2998440
【文章來源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁數(shù)】:61 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
基礎(chǔ)的發(fā)布訂閱系統(tǒng)示意圖
訂閱分布
哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-11-圖2-3模擬聚類結(jié)果接下來討論應(yīng)該在算法中如何保存空間位置和屬性信息。首先面對(duì)空間信息,傳統(tǒng)的單處理中心的發(fā)布訂閱系統(tǒng),為了對(duì)到來的事件進(jìn)行及時(shí)的聚類,多維持一個(gè)樹狀結(jié)構(gòu)(因?yàn)榇蠖嗖扇∫粋(gè)樹狀結(jié)構(gòu)的分類算法:kd-tree,R-tree),并且會(huì)把屬性信息賦予每個(gè)節(jié)點(diǎn),在進(jìn)行子節(jié)點(diǎn)選擇時(shí)同時(shí)考慮空間和屬性信息,這種結(jié)構(gòu)可以使得時(shí)間復(fù)雜度維持在log(n),但是隨著數(shù)據(jù)量的增大,樹狀結(jié)構(gòu)顯示出幾個(gè)不足之處:(1)維持一個(gè)樹狀結(jié)構(gòu)會(huì)消耗大量的內(nèi)存,而且樹狀結(jié)構(gòu)的改變也會(huì)消耗大量資源。(2)在分布式系統(tǒng)中,不同的分布式節(jié)點(diǎn)需要統(tǒng)一數(shù)據(jù),并行節(jié)點(diǎn)的數(shù)據(jù)在樹狀結(jié)構(gòu)上融合,極其困難。所以本文采取網(wǎng)格的結(jié)構(gòu)來存儲(chǔ)空間數(shù)據(jù),網(wǎng)格結(jié)構(gòu)同樣會(huì)消耗大量內(nèi)存,但是其訪問速度極快,而且網(wǎng)格結(jié)構(gòu)下,相鄰類別的合并和劃分要快于樹狀結(jié)構(gòu),對(duì)于即時(shí)的分布式系統(tǒng),速度顯然至關(guān)重要。而且異步數(shù)據(jù)的融合統(tǒng)一在網(wǎng)格上要比在樹結(jié)構(gòu)上簡單。面對(duì)事件的屬性信息,數(shù)據(jù)結(jié)構(gòu)有前綴樹,倒排索引等。由以上分析,樹結(jié)構(gòu)很適合單計(jì)算中心純內(nèi)存的算法,在每個(gè)類別中,前綴樹在對(duì)新增加的訂閱進(jìn)行分類時(shí),具有很大的優(yōu)勢,可以快速的查找到該訂閱應(yīng)該添加的位置,同時(shí)在面對(duì)將發(fā)布的事件推送給對(duì)應(yīng)的訂閱時(shí),可以在遍歷樹的過程中,對(duì)樹的節(jié)點(diǎn)進(jìn)行過濾,只保留在事件中出現(xiàn)的屬性的節(jié)點(diǎn),而且一般一個(gè)事件的屬性個(gè)數(shù)不會(huì)太大(一般小于5),所以樹的高度不會(huì)太高。但是在分布式環(huán)境中如果存在多個(gè)并行節(jié)點(diǎn)的合并,大型的前綴樹在合并多個(gè)由于并行而不同的樹時(shí)較為繁瑣。倒排索引在面對(duì)新訂閱分類時(shí)則結(jié)構(gòu)簡單,可以快速的合并數(shù)據(jù),所以本文采取倒排索引的結(jié)構(gòu)。
【參考文獻(xiàn)】:
期刊論文
[1]自組織增量學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)綜述[J]. 邱天宇,申富饒,趙金熙. 軟件學(xué)報(bào). 2016(09)
本文編號(hào):2998440
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2998440.html
最近更新
教材專著