本文關(guān)鍵詞：自然語言處理平臺化軟件的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：搜索引擎、人工智能已經(jīng)深入到人們生活的方方面面,而自然語言處理又是搜索引擎和人工智能的核心步驟。但是,目前在使用自然語言算法處理的過程中存在諸多的問題,主要表現(xiàn)為使用自然語言處理的算法比較復(fù)雜,同時相關(guān)算法的調(diào)用通常只能通過本地靜態(tài)鏈接加載模式,導(dǎo)致系統(tǒng)對自然語言處理效率低下。為此,本文結(jié)合企業(yè)實際研發(fā)項目,提出了一種自然語言平臺化的方案來有效解決上述的問題。論文的主要工作包括以下幾方面內(nèi)容：首先,設(shè)計了四種不同計算架構(gòu)用于支持不同場景下自然語言處理的計算服務(wù)。四種計算架構(gòu)分別是：普通流式計算架構(gòu),適合普通的較穩(wěn)定快速的架構(gòu)服務(wù)：在線計算架構(gòu),適合對于延遲有極高要求的在線服務(wù)；大規(guī)模離線架構(gòu),適合吞吐量極大離線計算服務(wù)；本地計算架構(gòu),適合占用資源少但訪問量比較高的算法。其次,設(shè)計了統(tǒng)一的自然語言處理服務(wù)調(diào)用接口。該接口封裝了四種架構(gòu)的服務(wù)調(diào)用,屏蔽了四種架構(gòu)的訪問的差異性,為用戶提供了簡單高效的自然語言處理服務(wù)：該接口為用戶提供了C++和pychon語言編程以及HTTP調(diào)用兩種訪問模式。最后,利用zookeeper、inotify和RPC等技術(shù),完成了自然語言處理平臺化軟件的開發(fā)。系統(tǒng)實際運行表明,系統(tǒng)各項功能符合設(shè)計要求,并在負載均衡、故障恢復(fù)、流量控制和統(tǒng)計等方面性能優(yōu)越,取得了良好的應(yīng)用效果。
【關(guān)鍵詞】：自然語言處理 異構(gòu)架構(gòu)平臺 分布式系統(tǒng) 大規(guī)模計算
【學位授予單位】：東南大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.52
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-13
• 1.1 研究背景及意義8-9
• 1.2 研究內(nèi)容9-10
• 1.3 研究現(xiàn)狀10-11
• 1.4 研究的目標與內(nèi)容11-12
• 1.5 論文的主要內(nèi)容及組織12-13
• 第二章 關(guān)鍵技術(shù)13-19
• 2.1 流式計算13
• 2.2 多種語言接口13-14
• 2.3 統(tǒng)一的日志收集和監(jiān)控14-15
• 2.4 Zookeeper15-16
• 2.5 inotify特性16
• 2.6 RPC通訊框架16-17
• 2.7 本章小結(jié)17-19
• 第三章 系統(tǒng)架構(gòu)設(shè)計及實現(xiàn)19-51
• 3.1 總體架構(gòu)設(shè)計19-23
• 3.2 系統(tǒng)工作流程23-24
• 3.3 系統(tǒng)設(shè)計24-26
• 3.3.1 普通流式模型的流式計算模型的運用25
• 3.3.2 配置文件25-26
• 3.4 系統(tǒng)架構(gòu)26-38
• 3.4.1 普通流式系統(tǒng)服務(wù)架構(gòu)26-28
• 3.4.2 在線計算架構(gòu)28
• 3.4.3 大規(guī)模計算架構(gòu)28-30
• 3.4.4 本地計算架構(gòu)30-32
• 3.4.5 統(tǒng)計服務(wù)架構(gòu)32-35
• 3.4.6 負載均衡的架構(gòu)35-36
• 3.4.7 故障排查的架構(gòu)36-37
• 3.4.8 流量控制的架構(gòu)37-38
• 3.5 普通流式計算架構(gòu)的實現(xiàn)38-39
• 3.6 在線計算架構(gòu)的實現(xiàn)39-43
• 3.7 在線計算架構(gòu)的實現(xiàn)43-45
• 3.8 大規(guī)模離線計算架構(gòu)的實現(xiàn)45-50
• 3.9 本章小結(jié)50-51
• 第四章 實驗測試以及結(jié)果分析51-55
• 4.1 普通流式計算架構(gòu)的測試分析51-52
• 4.2 在線計算架構(gòu)的測試分析52
• 4.3 大規(guī)模離線計算架構(gòu)的測試分析52-53
• 4.4 本地計算架構(gòu)的測試分析53-54
• 4.5 本章小結(jié)54-55
• 第五章 總結(jié)與展望55-57
• 5.1 總結(jié)55-56
• 5.2 展望56-57
• 致謝57-58
• 參考文獻58-59

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;《統(tǒng)計自然語言處理基礎(chǔ)》[J];中文信息學報;2005年03期

2 徐繼偉;;自然語言處理技術(shù)在生物信息學中的應(yīng)用(英文)[J];生物信息學;2006年01期

3 王挺;麥范金;劉忠;;自然語言處理及其應(yīng)用前景的研究[J];桂林航天工業(yè)高等專科學校學報;2006年04期

4 ;第二屆全國少數(shù)民族青年自然語言處理學術(shù)研討會召開[J];模式識別與人工智能;2008年05期

5 高精揓;蕭國政;姬東鴻;;手持嵌入式系統(tǒng)應(yīng)用中的自然語言處理關(guān)鍵技術(shù)[J];長江學術(shù);2009年02期

6 馮志偉;;自然語言處理中的一些宏觀問題之我見[J];中國外語;2009年05期

7 曹佩;;論自然語言處理[J];信息與電腦(理論版);2010年05期

8 邵澤國;;語言科學發(fā)展的新分支——自然語言處理[J];電子科技;2013年05期

9 李霞;;面向本科階段開設(shè)的“自然語言處理”課程教學研究[J];福建電腦;2013年07期

10 賀廣明;;自然語言處理的六個級別[J];情報雜志;1988年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 馬穎華;蘇貴洋;;基于概念的自然語言處理[A];第一屆學生計算語言學研討會論文集[C];2002年

2 李生;;哈工大自然語言處理研究進展[A];語言計算與基于內(nèi)容的文本處理——全國第七屆計算語言學聯(lián)合學術(shù)會議論文集[C];2003年

3 ;哈爾濱工業(yè)大學智能技術(shù)與自然語言處理研究室簡介[A];中國中文信息學會第六次全國會員代表大會暨成立二十五周年學術(shù)會議中文信息處理重大成果匯報展資料匯編[C];2006年

4 馮志偉;;自然語言處理中的理性主義和經(jīng)驗主義[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學術(shù)研討會論文集[C];2007年

5 宋柔;;自然語言處理中語言知識的基礎(chǔ)性地位[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學術(shù)研討會論文集[C];2007年

6 李文;程華良;彭耀;溫明杰;肖威清;張陳斌;陳宗海;;自然語言處理云平臺[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學術(shù)論文集（第15卷）[C];2014年

7 徐超;畢玉德;;面向自然語言處理的韓國語隱喻知識庫構(gòu)建研究[A];中國計算語言學研究前沿進展（2009-2011）[C];2011年

8 周國棟;孔芳;朱巧明;;指代消解：國內(nèi)外研究現(xiàn)狀及趨勢[A];內(nèi)容計算的研究與應(yīng)用前沿——第九屆全國計算語言學學術(shù)會議論文集[C];2007年

9 ;SWCL-2006組織機構(gòu)[A];第三屆學生計算語言學研討會論文集[C];2006年

10 張sソ，

本文編號：362001