隨著Web3.0時代的逐步到來,去中心化的互聯(lián)網(wǎng)應(yīng)用對人工智能和搜索引擎技術(shù)提出了更高的要求。自然語言處理作為人工智能與搜索引擎的基礎(chǔ)步驟之一,需保證處理過程的正確性、快速性及穩(wěn)定性。但自然語言處理本質(zhì)是一個多邊緣的交叉學(xué)科,在理論與實(shí)踐方面均有相當(dāng)?shù)膹?fù)雜性,大大增加了相關(guān)應(yīng)用的開發(fā)難度。通過借鑒開放平臺的服務(wù)理念,將復(fù)用程度較高的算法抽象出來,形成功能分明的能力,以O(shè)pen API（Application Programming Interface）的形態(tài)提供給第三方開發(fā)者使用,可以顯著降低自然語言處理應(yīng)用的開發(fā)門檻,從而提升工業(yè)界的生產(chǎn)力。本文將自然語言處理與開放平臺相結(jié)合,設(shè)計并實(shí)現(xiàn)了自然語言處理能力開放平臺。本文將開放平臺劃分成了服務(wù)接入層、平臺層、算法層、通信層與門戶系統(tǒng)。在服務(wù)接入層,基于Oauth2.0標(biāo)準(zhǔn)實(shí)現(xiàn)了鑒權(quán)機(jī)制,通過HTTPS協(xié)議保證了網(wǎng)絡(luò)安全通信,著重對比了漏桶算法與令牌桶算法在解決流控問題時的基本思想與適用場景,并基于令牌桶算法實(shí)現(xiàn)了服務(wù)維度與調(diào)用方維度的限頻策略、限時策略與白名單過濾策略;在平臺層,首先采用REST（Representational Sta... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：91 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１?ＲＰＣ執(zhí)行流程［ｎ］??首先業(yè)務(wù)程序調(diào)用ｃｌｉｅｎｔ?ｆｕｎｃｔｉｏｎｓ發(fā)起ＲＰＣ請求，再由客戶端句柄ｃｌｉｅｎｔ?ｓｔｕｂ??

Ｐｒｏｄｕｃｅｒ?將?Ｍｅｓｓａｇｅ?發(fā)送至?Ｂｒｏｋｅｒ，再由?Ｃｏｎｓｕｍｅｒ??從Ｂｒｏｋｅｒ中拉取數(shù)據(jù)消息??上述組件互相依賴與交互構(gòu)成了?Ｋａｋｆａ集群架構(gòu)，如圖２－２所示，由位于前??端的Ｐｒｏｄｕｃｅｒ節(jié)點(diǎn)通過ｐｕｓｈ的方式將消息發(fā)送至Ｂｒｏｋｅｒ節(jié)點(diǎn)，位于后端的??Ｃｏｎｓｕｍｅｒ節(jié)點(diǎn)主動ｐｕｌｌ的方式拉�。拢颍铮耄澹蚬�(jié)點(diǎn)上的消息進(jìn)行消費(fèi)，并由??ＺｏｏＫｅｅｐｅｒ負(fù)責(zé)協(xié)調(diào)Ｂｒｏｋｅｒ與Ｃｏｎｓｕｍｅｒ的動態(tài)加入與離開，也管理Ｔｏｐｉｃ與??Ｂｒｏｋｅｒ的映射關(guān)系，提供給Ｐｒｏｄｕｃｅｒ注冊Ｗａｔｃｈｅｒ以便實(shí)時推送Ｔｏｐｉｃ的Ｐａｒｔｉｔｉｏｎ??信息，同時維護(hù)所有節(jié)點(diǎn)的心跳。?????Ｐｒｏｄｕｃｅｒ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｍ?Ｅｎｄ??ｐｕｓｈ＼?一一一一?／?ｐｕｓｉｒ＂??Ｂｒｏｋｅｒ?（?Ｋａｆｋａ?）?丨ＩＣａｆｋａＪ?（＾ＫａｆｋａＪ?ＺｏｏＫｅｅｐｅｒ?Ｕ??ｐｕｌｌ?ｐｕｌｌ?／?＾＼ｐｕｌｌ?＼＾ｐｕｌｌ?，?、、、｜?＼??ｒ?Ｈａｄｏｏｐ?Ｒｅａｌ－ｔｉｍｅ?Ｏｔｈｅｒ?Ｄａｔａ?／?／?／?／??ｏｎｓｕｍｅｒ?Ｃｌｕｓｔｅｒ?ｍｏｎｉｔｏｒｉｎｇ?Ｓｅｒｖｉｃｅ?Ｗａｒｅｈｏｕｓｅ?ｙ?／?／?／??—?ｔ－?——ｒ?？?

從計算機(jī)視角對漏桶算法的描述為：到達(dá)的流量首先進(jìn)入緩存隊(duì)列，再隊(duì)列以恒定的出隊(duì)速率放行流量，累積緩存的流量大小不超過隊(duì)列容量，滿，則對超出部分的流量進(jìn)行降級處理。需要說明的是，流量既可表示數(shù)可表示請求，具體視業(yè)務(wù)需求而定，在本平臺中均針對請求。假設(shè)漏桶總５，當(dāng)前容量為流量的平均到達(dá)速率為／？，恒定放行速率為７＼則當(dāng)１位的流量到達(dá)時的算法執(zhí)行流程為：??Ｓｔｅｐｌ若＆?＋?１＞５，轉(zhuǎn)Ｓｔｅｐ３；若Ｚ７?＋?１Ｓ５，流量入隊(duì)，等至放行后轉(zhuǎn)ＳｔｅｐＳｔｅｐ２流量出隊(duì)并放行，緩存隊(duì)列容量減１，轉(zhuǎn)Ｓｔｅｐ４；??ＳｔｅＰ３按業(yè)務(wù)場景選擇降級策略？．丟棄流量、緩存至等待隊(duì)列待令牌桶夠時處理、對流量做特殊標(biāo)記當(dāng)網(wǎng)絡(luò)過載時丟棄。轉(zhuǎn)Ｓｔｅｐ４；??Ｓｔｅｐ４處理后續(xù)到達(dá)的流量，轉(zhuǎn)Ｓｔｅｐｌ。??從漏桶算法的流程可以總結(jié)出：理想情況下，當(dāng)時，漏桶的當(dāng)前持為６?＝?０，即不產(chǎn)生流量堆積，全過程的放行速率固定為ｒ；當(dāng)時，當(dāng)長的時間段內(nèi)，漏桶的當(dāng)前容量由變化至即從未滿變出，全過程的放行速率固定為ｒ。因此無論網(wǎng)絡(luò)流量的到達(dá)速率如何，漏

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)原理及應(yīng)用綜述[J]. 付文博,孫濤,梁藉,閆寶偉,范福新.  計算機(jī)科學(xué). 2018(S1)
[2]自然語言處理中的深度學(xué)習(xí):方法及應(yīng)用[J]. 林奕歐,雷航,李曉瑜,吳佳.  電子科技大學(xué)學(xué)報. 2017(06)
[3]基于Spark Streaming的實(shí)時數(shù)據(jù)分析系統(tǒng)及其應(yīng)用[J]. 韓德志,陳旭光,雷雨馨,戴永濤,張肖.  計算機(jī)應(yīng)用. 2017(05)
[4]基于keepalived的高可用性應(yīng)用研究[J]. 汪海洋,凌永興,包麗紅,姚萌萌.  電子技術(shù). 2014(07)
[5]開放平臺解決方案及其安全策略研究[J]. 朱蔚恒,周偉,龍舜.  計算機(jī)工程. 2012(12)
[6]開放平臺:運(yùn)營模式與技術(shù)架構(gòu)研究綜述[J]. 馬琳,宋俊德,宋美娜.  電信科學(xué). 2012(06)
[7]基于OAuth2.0的認(rèn)證授權(quán)技術(shù)[J]. 時子慶,劉金蘭,譚曉華.  計算機(jī)系統(tǒng)應(yīng)用. 2012(03)
[8]Linux系統(tǒng)中網(wǎng)絡(luò)I/O性能改進(jìn)方法的研究[J]. 李濤,房鼎益,陳曉江,馮健.  計算機(jī)工程. 2008(23)
[9]基于Web應(yīng)用的性能測試與優(yōu)化[J]. 蘇波,李克文.  計算機(jī)工程與設(shè)計. 2007(18)
[10]基于Java的對象池技術(shù)的設(shè)計和實(shí)現(xiàn)[J]. 刁冬坡,陳平,張立勇,杜軍朝.  計算機(jī)應(yīng)用與軟件. 2006(02)

碩士論文
[1]基于Nginx的高并發(fā)訪問服務(wù)器的研究與應(yīng)用[D]. 陳大才.中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計算技術(shù)研究所) 2018
[2]基于令牌桶算法的流量控制服務(wù)的設(shè)計與實(shí)現(xiàn)[D]. 仲思惠.大連理工大學(xué) 2016
[3]自然語言處理平臺化軟件的設(shè)計與實(shí)現(xiàn)[D]. 劉桐仁.東南大學(xué) 2015
[4]分布式日志系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D]. 楊華輝.北京郵電大學(xué) 2015
[5]基于ZooKeeper的分布式處理框架的研究與實(shí)現(xiàn)[D]. 譚玉靖.北京郵電大學(xué) 2014



本文編號：3415998