【摘要】 政府、行業(yè)、企業(yè)和公眾都對(duì)智慧城市領(lǐng)域的垂直搜索功能有較為迫切的需要,但目前缺少相關(guān)的應(yīng)用研究工作文章在對(duì)垂直搜索引擎、云計(jì)算等相關(guān)技術(shù)進(jìn)行應(yīng)用研究的基礎(chǔ)上,提出了一種面向智慧城市的垂直搜索平臺(tái)整體解決方案,該方案具有行業(yè)化程度高、性能和可靠性強(qiáng)、可伸縮性好等特點(diǎn),能夠滿(mǎn)足不同用戶(hù)的實(shí)際需求,具有良好的應(yīng)用價(jià)值。
 
【關(guān)鍵詞】 智慧城市； 垂直搜索； 云計(jì)算；

    一、前言
　　隨著科技水平的不斷提高，社會(huì)經(jīng)濟(jì)的快速發(fā)展，對(duì)智慧城市系統(tǒng)的要求也越來(lái)越高�，F(xiàn)如今，要基于云計(jì)算的智慧城市垂直搜索技術(shù)的應(yīng)用需求不斷增加，因此，我們要加強(qiáng)先進(jìn)理論與先進(jìn)技術(shù)的學(xué)習(xí)與應(yīng)用，不斷進(jìn)行智慧城市垂直搜索技術(shù)的研發(fā)和探討，使智慧城市更快更好的發(fā)展。
　　二、智慧城市的現(xiàn)狀
　　智慧城市作為下一個(gè)萬(wàn)億級(jí)的信息通信業(yè)務(wù)藍(lán)海市場(chǎng)將是新的業(yè)務(wù)增長(zhǎng)點(diǎn)。2010年以來(lái)，已有20個(gè)省近50個(gè)城市或地區(qū)提出建設(shè)“智慧城市”的目標(biāo)和規(guī)劃，在此背景下，很多II廠商和服務(wù)提供商積極響應(yīng)政府提出的城市化發(fā)展策略，把“智慧城市”作為業(yè)務(wù)發(fā)展重點(diǎn)，通過(guò)和地方政府合作共同打造智慧城市云平臺(tái)，發(fā)揮基礎(chǔ)資源優(yōu)勢(shì)，以行業(yè)應(yīng)用為切入點(diǎn)，整合產(chǎn)業(yè)資源，打造共贏模式。因此，智慧城市云平臺(tái)的建設(shè)在新形勢(shì)下對(duì)IT廠商和服務(wù)運(yùn)營(yíng)商的業(yè)務(wù)發(fā)展具有重要意義。智慧城市云平臺(tái)、資源整合和共建模式也能緩解地方政府進(jìn)行智慧城市建設(shè)的資金壓力，有利于推動(dòng)智慧城市項(xiàng)目落地和產(chǎn)業(yè)發(fā)展。
　　在智慧城市信息系統(tǒng)中，政府、企業(yè)都要在智慧基礎(chǔ)設(shè)施之上進(jìn)行科技和業(yè)務(wù)的創(chuàng)新應(yīng)用，城市的各個(gè)關(guān)鍵系統(tǒng)和參與者要進(jìn)行和諧高效地協(xié)作[1]。所以在智慧城市信息系統(tǒng)建設(shè)中垂直搜索技術(shù)的應(yīng)用將會(huì)非常廣泛。智慧城市系統(tǒng)中垂直搜索引擎是針對(duì)智慧城市中的用戶(hù)，包括城市的管理者、公眾和企業(yè)，是滿(mǎn)足為公眾、企業(yè)服務(wù)、提高城市管理水平這類(lèi)需求的專(zhuān)業(yè)搜索引擎。在智慧城市的信息系統(tǒng)中，應(yīng)用系統(tǒng)、服務(wù)、數(shù)據(jù)量都會(huì)非常龐大，對(duì)于智慧城市的各類(lèi)用戶(hù)，通過(guò)垂直搜索功能是直接找到自己關(guān)心和需要信息的最便捷途徑。因此，智慧城市信息系統(tǒng)中垂直搜索系統(tǒng)的智能化程度也是智慧城市中“智慧”的重要體現(xiàn)。
　　三、智慧城市云計(jì)算中心體系架構(gòu)
　　1、智慧城市運(yùn)營(yíng)支撐體系
　　建立針對(duì)智慧應(yīng)用建設(shè)、運(yùn)維、管理新特性的智慧城市運(yùn)營(yíng)支撐體系，以確保應(yīng)用系統(tǒng)持續(xù)、穩(wěn)定、安全運(yùn)行。
　　2、基礎(chǔ)設(shè)施層
　　按照云計(jì)算的基本架構(gòu)，智慧城市的底層為基礎(chǔ)設(shè)施層，包括智能接入和基礎(chǔ)資源兩部分。
　　其中智能接入部分本文由筆耕文化傳播http://www.bigengculture.com/收集整理包括物聯(lián)網(wǎng)感知設(shè)備和基礎(chǔ)通信網(wǎng)絡(luò)等，保障智慧應(yīng)用的接入。物聯(lián)網(wǎng)是互聯(lián)網(wǎng)的應(yīng)用的延伸和拓展，可以實(shí)現(xiàn)更透徹的感知、更廣泛的互聯(lián)互通以及更深入的城市智能化。因此物聯(lián)網(wǎng)成為智慧城市智能接入的重要基礎(chǔ)設(shè)施。
　　由于網(wǎng)絡(luò)終端的計(jì)算和存儲(chǔ)能力十分有限，而云計(jì)算技術(shù)具有強(qiáng)大的資源整合能力，能夠?qū)崿F(xiàn)對(duì)海量數(shù)據(jù)的存儲(chǔ)、計(jì)算以及保障信息的安全，因此智慧城市的基礎(chǔ)資源體現(xiàn)云資源池的概念并建立各類(lèi)主題數(shù)據(jù)庫(kù)資源，各個(gè)應(yīng)用可以根據(jù)系統(tǒng)的需求在資源池和數(shù)據(jù)庫(kù)資源中進(jìn)行按需存取，提高資源的使用效率，實(shí)現(xiàn)資源的高度共享和協(xié)同，這也是智慧城市建設(shè)的核心思路之一。
　　3、云服務(wù)平臺(tái)及應(yīng)用層
　　智慧城市的中間層是面向智慧應(yīng)用的云服務(wù)平臺(tái)及應(yīng)用，通過(guò)云服務(wù)平臺(tái)的構(gòu)建實(shí)現(xiàn)信息管理、垂直搜索、共享以及應(yīng)用發(fā)布等，通過(guò)數(shù)據(jù)挖掘、數(shù)據(jù)分析等智能處理可以更好的支持用戶(hù)決策和行動(dòng)。智慧城市的應(yīng)用主要聚焦在智慧政府、智慧民生、智慧產(chǎn)業(yè)這三大領(lǐng)域，實(shí)現(xiàn)信息應(yīng)用的精細(xì)化、智能化，滿(mǎn)足各領(lǐng)域不斷涌現(xiàn)的信息化需求。智慧城市的垂直搜索引擎提供的主要內(nèi)容不應(yīng)該局限于普通的網(wǎng)頁(yè)索引，而且包括面向公眾、企業(yè)和城市管理者的城市服務(wù)、商業(yè)信息的加工，既包括政府部門(mén)的結(jié)構(gòu)化的信息也包括大量多源異構(gòu)的非結(jié)構(gòu)化信息。
　　4、門(mén)戶(hù)層
　　位于智慧城市上層的是向政府、企業(yè)和公眾客戶(hù)提供各類(lèi)智慧城市應(yīng)用系統(tǒng)的門(mén)戶(hù)層，是直接面向城市市民體驗(yàn)智慧服務(wù)的入口。包括各種政府面向公眾和企業(yè)提供的服務(wù)，面向企業(yè)產(chǎn)業(yè)發(fā)展的信息搜索服務(wù)，以及面向公眾生活的信息推送和搜索服務(wù)等。
　　四、云計(jì)算在垂直搜索的應(yīng)用研究
　　1、基于云計(jì)算的搜索引擎架構(gòu)
　　垂直搜索引擎在智慧城市數(shù)據(jù)中心的核心和基礎(chǔ)功能模塊,智慧城市的應(yīng)用匯有大量調(diào)用搜索引擎的業(yè)務(wù)需求,因此對(duì)于搜索引擎的功能和性能指標(biāo)都有很高的要求。所以就要求垂直搜索引擎在提供全面、專(zhuān)業(yè)、準(zhǔn)確的搜索功能，并且在用戶(hù)體驗(yàn)、效率、穩(wěn)定性、可靠性等方面都需要全面的技術(shù)保證。國(guó)內(nèi)外很多學(xué)者都對(duì)垂直搜索引擎進(jìn)行了大量研究[2-4]，但是對(duì)于在智慧城市云計(jì)算中心，面向多種業(yè)務(wù)、海量數(shù)據(jù)條件下，結(jié)合最新云計(jì)算技術(shù)的垂直搜索引擎還有很多技術(shù)點(diǎn)需要研究。具體來(lái)說(shuō)，有以下問(wèn)題需要解決。
　�。ㄒ唬�、垂直搜索的大數(shù)據(jù)存儲(chǔ)
　　在智慧城市信息系統(tǒng)中，抓取的網(wǎng)絡(luò)信息，城市業(yè)務(wù)系統(tǒng)產(chǎn)生數(shù)據(jù)會(huì)隨著時(shí)間飛速增加，垂直搜索引擎要處理的數(shù)據(jù)信息和索引信息也會(huì)快速膨脹。因此，智慧城市的垂直搜索需要解決搜索大數(shù)據(jù)的高效存儲(chǔ)問(wèn)題，同時(shí)還要解決水平擴(kuò)容問(wèn)題，并且擴(kuò)容需要在不中斷業(yè)務(wù)的情況下進(jìn)行。
　　（二）、垂直搜索的大數(shù)據(jù)處理
　　在智慧城市的云計(jì)算中心會(huì)存儲(chǔ)海量的數(shù)據(jù)，垂直搜索系統(tǒng)需要在信息抓取、存檔、建立索引、信息搜索等環(huán)節(jié)優(yōu)化面向海量數(shù)據(jù)處理的時(shí)間，提高數(shù)據(jù)處理效率和容錯(cuò)率。
　�。ㄈ�、并發(fā)訪問(wèn)性能
　　在智慧城市云計(jì)算中心，除了數(shù)據(jù)規(guī)模的不斷增長(zhǎng)，數(shù)據(jù)源數(shù)、數(shù)據(jù)接口、用戶(hù)數(shù)都會(huì)不同程度增長(zhǎng)，需要通過(guò)云計(jì)算技術(shù)解決資源競(jìng)爭(zhēng)問(wèn)題，包括并發(fā)分流、數(shù)據(jù)緩存、請(qǐng)求超時(shí)、狀態(tài)維持問(wèn)題等。
　　由于云計(jì)算技術(shù)在資源整合、整體性能、可靠性、擴(kuò)展性等方面存在突出優(yōu)勢(shì)，以上搜索引擎在智慧城市應(yīng)用中面臨問(wèn)題可以利用計(jì)算技術(shù)進(jìn)行優(yōu)化，當(dāng)然也包括對(duì)搜索技術(shù)本身的優(yōu)化。
　　云計(jì)算技術(shù)在垂直搜索中進(jìn)行應(yīng)用的方式是設(shè)計(jì)基于云計(jì)算技術(shù)的垂直搜索引擎架構(gòu)。該架構(gòu)可以實(shí)現(xiàn)對(duì)外部數(shù)據(jù)源和內(nèi)部文檔以及業(yè)務(wù)系統(tǒng)數(shù)據(jù)的全文搜索支持，并能隨著數(shù)據(jù)量和業(yè)務(wù)需求動(dòng)態(tài)擴(kuò)展。優(yōu)點(diǎn)是可以支持的數(shù)據(jù)量龐大，對(duì)數(shù)據(jù)的內(nèi)容以及大小都沒(méi)有限制。架構(gòu)一般采用分布式文件系統(tǒng)和并行算法進(jìn)行數(shù)據(jù)的存儲(chǔ)和檢索。
　　2、大數(shù)據(jù)存儲(chǔ)應(yīng)用研究
　�。ㄒ唬�、網(wǎng)絡(luò)與文件數(shù)據(jù)存儲(chǔ)
　　智慧城市云計(jì)算中心的網(wǎng)頁(yè)數(shù)據(jù)和文檔數(shù)據(jù)是由爬蟲(chóng)服務(wù)直接獲取到本地的HTML, XML等格式的文本文件和自有應(yīng)用系統(tǒng)產(chǎn)生的文件。這些文件如果要可搜索，需要進(jìn)行解析服務(wù)和建索服務(wù)，這些文件本身是屬于原始信息，一般以文件的形式存儲(chǔ)在磁盤(pán)上。這些文本文件會(huì)隨著獲取數(shù)據(jù)的增加而快速增大，大到單臺(tái)服務(wù)器無(wú)法存儲(chǔ)的程度，因此對(duì)于這種大數(shù)據(jù)文件的管理，一般采用云計(jì)算中的分布式存儲(chǔ)解決方案。在分布式存儲(chǔ)系統(tǒng)采用的是塊存儲(chǔ)模式，超過(guò)塊大小的文件均被切分成多個(gè)塊分散存儲(chǔ)在多個(gè)DataNode（數(shù)據(jù)節(jié)點(diǎn)）中，同時(shí)基于Replication（副本）機(jī)制，同一個(gè)塊的多個(gè)副本按距離遠(yuǎn)近分別存放在相對(duì)可靠的DataNode中。NameNode（管理節(jié)點(diǎn)）負(fù)責(zé)管理分配DataNode。這樣就通過(guò)并行的方式提高了數(shù)據(jù)存儲(chǔ)能力，并能水平擴(kuò)展，另外通過(guò)冗余方式保證了系統(tǒng)的高可用性和可靠性。
　�。ǘ�、結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)
　　結(jié)構(gòu)化數(shù)據(jù)是由數(shù)據(jù)抽取服務(wù)從業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中抽取出供檢索和分析的業(yè)務(wù)數(shù)據(jù)。這類(lèi)數(shù)據(jù)主要是關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)，往往具有明顯的規(guī)則和關(guān)系特征，并且在垂直搜索中主要面向高并發(fā)讀操作。因此研究采用一種輕量級(jí)，并支持高并發(fā)讀和可橫向擴(kuò)展的MySQL云集群方案�；跇I(yè)務(wù)數(shù)據(jù)特征在MySQL集群中建立分片存儲(chǔ)形式，大表數(shù)據(jù)可以跨分片，特定業(yè)務(wù)表數(shù)據(jù)綁定特定分片。每個(gè)分片內(nèi)，一個(gè)Master（主）數(shù)據(jù)庫(kù)提供寫(xiě)服務(wù)，并和N臺(tái)Slave（從）數(shù)據(jù)庫(kù)提供讀服務(wù)。還有一個(gè)Standby（熱備）的Master數(shù)據(jù)庫(kù)提供故障轉(zhuǎn)移服務(wù)，另外每個(gè)數(shù)據(jù)分片都存儲(chǔ)在2個(gè)以上的Slave數(shù)據(jù)庫(kù)中，通過(guò)冗余方式以保證系統(tǒng)的高可用性。
    （三）、索引數(shù)據(jù)管理
　　在智慧城市云計(jì)算中心中的數(shù)據(jù)，無(wú)論是分布式文件系統(tǒng)中的網(wǎng)頁(yè)數(shù)據(jù)，文檔數(shù)據(jù)還是數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)，如果要能被垂直搜索引擎可檢索，均需要通過(guò)解析服務(wù)和建索服務(wù)進(jìn)行索引化處理。處理方式是通過(guò)分詞技術(shù)對(duì)文件進(jìn)行解析，并產(chǎn)生索引信息，追加到索引文件中。索引數(shù)據(jù)主要用于大批量的檢索操作，適合采用NoSQL數(shù)據(jù)庫(kù)，如使用分布式Hbase、MongoDB之類(lèi)的文檔型數(shù)據(jù)庫(kù)存儲(chǔ)，既能滿(mǎn)足大索引文件的管理要求，又可通過(guò)分布式存儲(chǔ)提高性能。
　�。ㄋ模�、檢索結(jié)果數(shù)據(jù)緩存
　　通常情況下，垂直搜索引擎的檢索結(jié)果數(shù)據(jù)是不做存儲(chǔ)的，但對(duì)于常用的熱門(mén)關(guān)鍵字，重復(fù)的檢索處理結(jié)果的存儲(chǔ)可以?xún)?yōu)化搜索引擎的整體性能。因此采用緩存將熱門(mén)的檢索結(jié)果保存在垂直搜索引擎的RAM內(nèi)存中，后續(xù)請(qǐng)求可以直接獲取檢索結(jié)果，不用再執(zhí)行檢索過(guò)程。內(nèi)存中檢索結(jié)果數(shù)據(jù)的結(jié)構(gòu)較為簡(jiǎn)單，屬于標(biāo)準(zhǔn)的Key/Value（鍵/值）結(jié)構(gòu)，可以使用memcached等分布式緩存系統(tǒng)來(lái)存取。通常的策略是：在搜索引擎中建立固定緩存區(qū)，對(duì)指定的業(yè)務(wù)性熱門(mén)關(guān)鍵詞的檢索結(jié)果進(jìn)行緩存，設(shè)置較長(zhǎng)的存活時(shí)間；建立動(dòng)態(tài)緩存區(qū)，對(duì)一般關(guān)鍵詞的檢索結(jié)果進(jìn)行緩存，設(shè)置較短的存活時(shí)間。
　　3、分布式計(jì)算技術(shù)應(yīng)用研究
　　對(duì)于智慧城市云計(jì)算中心海量數(shù)據(jù)的搜索處理，需要采用多節(jié)點(diǎn)并行計(jì)算來(lái)提高整體處理效率，在當(dāng)前的云計(jì)算大數(shù)據(jù)技術(shù)體系中，MapReduce是被廣泛接受并認(rèn)可的分布式計(jì)算框架[5]。
　�。ㄒ唬⒎植际叫畔⒆ト�
　　分布式信息抓取服務(wù)負(fù)責(zé)將外部網(wǎng)絡(luò)的網(wǎng)頁(yè)數(shù)據(jù)，以及指定文檔服務(wù)器的文件抓取到智慧城市云計(jì)算中心建立本地文件存儲(chǔ)。分布式信息抓取服務(wù)一般不采用MapReduce框架。信息抓取的Agent（代理程序）分發(fā)部署在多個(gè)節(jié)點(diǎn)各自運(yùn)行，信息抓取服務(wù)本身一般不對(duì)數(shù)據(jù)進(jìn)行加工處理，僅僅是并行的進(jìn)行數(shù)據(jù)收集。分布式信息抓取服務(wù)的運(yùn)行模式為主從式，由管理節(jié)點(diǎn)抓取服務(wù)程序負(fù)責(zé)管理協(xié)調(diào)其他抓取服務(wù)的活動(dòng)，包括服務(wù)的健康度檢查，服務(wù)監(jiān)控，任務(wù)分配等方面。
　�。ǘ⒎植际綌�(shù)據(jù)抽取
　　智慧城市云計(jì)算中心的垂直搜索引擎需要為業(yè)務(wù)系統(tǒng)和用戶(hù)提供業(yè)務(wù)信息的全文搜索能力，因此需要為業(yè)務(wù)系統(tǒng)內(nèi)的數(shù)據(jù)建立索引，并能提供業(yè)務(wù)數(shù)據(jù)的內(nèi)容。由于業(yè)務(wù)系統(tǒng)數(shù)據(jù)往往是存儲(chǔ)在業(yè)務(wù)數(shù)據(jù)庫(kù)中，而業(yè)務(wù)數(shù)據(jù)庫(kù)需要不斷響應(yīng)業(yè)務(wù)系統(tǒng)的業(yè)務(wù)操作請(qǐng)求。為了不對(duì)業(yè)務(wù)系統(tǒng)的正常運(yùn)行造成影響，垂直搜索引擎不會(huì)在業(yè)務(wù)數(shù)據(jù)庫(kù)上進(jìn)行建立索引和數(shù)據(jù)讀取的操作，而是先通過(guò)數(shù)據(jù)抽取服務(wù)獲取這些業(yè)務(wù)數(shù)據(jù)到搜索引擎管理的數(shù)據(jù)庫(kù)中，再進(jìn)行建立索引處理。在上層用戶(hù)或者系統(tǒng)讀取檢索結(jié)果中的目標(biāo)數(shù)據(jù)時(shí)，也是從這個(gè)庫(kù)中讀取。
　　這就需要建立分布式數(shù)據(jù)抽取服務(wù)，定時(shí)從業(yè)務(wù)數(shù)據(jù)庫(kù)中把業(yè)務(wù)數(shù)據(jù)更新到搜索數(shù)據(jù)庫(kù)中，在面臨多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)時(shí)，分布式部署方式可以分擔(dān)導(dǎo)入數(shù)據(jù)工作，縮短導(dǎo)入時(shí)間，在數(shù)據(jù)抽取周期短的情況下，盡量降低對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)的影響。Sqoop工具可以把關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)抽取到分布式文件系統(tǒng)中。
　�。ㄈ�、分布式建立索引
　　分布式建立索引服務(wù)負(fù)責(zé)將采集到的內(nèi)外部文件以及數(shù)據(jù)庫(kù)中的數(shù)據(jù)通過(guò)分詞、排序、合并、設(shè)置權(quán)重等手段建立索引數(shù)據(jù)，作為垂直搜索引擎進(jìn)行檢索操作的對(duì)象。建立索引服務(wù)可以基于MapReduce技術(shù)并行處理建立反向索引數(shù)據(jù)，即以關(guān)鍵詞為基準(zhǔn)關(guān)聯(lián)數(shù)據(jù)源的索引。分布式建立索引服務(wù)把新索引數(shù)據(jù)不斷追加到索引文件中，并按照設(shè)定的周期定期更新已有的索引數(shù)據(jù)。
　�。ㄋ模�、分布式檢索
　　檢索服務(wù)是直接面向系統(tǒng)或用戶(hù)提供實(shí)時(shí)信息查詢(xún)服務(wù)，因此在檢索的準(zhǔn)確性和時(shí)間效率上有很高的要求。在智慧城市的垂直搜索中針對(duì)檢索存在大量用戶(hù),并且會(huì)面向不同業(yè)務(wù)和目標(biāo)用戶(hù)的特征。針對(duì)這種特征，在技術(shù)上采用分布式檢索機(jī)制以分流不同類(lèi)別的檢索請(qǐng)求，降低單次檢索服務(wù)的計(jì)算規(guī)模。檢索分片的劃分一般根據(jù)業(yè)務(wù)需求、用戶(hù)特征、數(shù)據(jù)特點(diǎn)等建立準(zhǔn)則。當(dāng)前主流的分布式檢索引擎是Hadoop的Map/Reduce框架，其采用Master/Slave（主/從） 結(jié)構(gòu)，由一個(gè)主管理節(jié)點(diǎn)的JobTracker（作業(yè)管理程序） 和多個(gè)從數(shù)據(jù)節(jié)點(diǎn)TaskTracker（任務(wù)管理程序） 組成。JobTracker 負(fù)責(zé)作業(yè)調(diào)度，TaskTracker 執(zhí)行計(jì)算任務(wù)，所有的TaskTracker 都需要運(yùn)行在DataNode上，這種模式是每一個(gè)TaskTracker所執(zhí)行的檢索服務(wù)處理的數(shù)據(jù)都是存儲(chǔ)在DataNode本地的數(shù)據(jù)分片，而不會(huì)對(duì)其他服務(wù)器的數(shù)據(jù)分片進(jìn)行檢索。這樣可以減少數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸，降低對(duì)網(wǎng)絡(luò)帶寬的需求，防止在DataNode數(shù)量擴(kuò)展時(shí)網(wǎng)絡(luò)帶寬成為系統(tǒng)的性能瓶頸。
　　4、負(fù)載均衡與高可靠性技術(shù)
　　在智慧城市云計(jì)算中心，垂直搜索引擎為很多用戶(hù)和系統(tǒng)服務(wù)，必然會(huì)有高并發(fā)的情況發(fā)生，為了使引擎在高并發(fā)訪問(wèn)情況下能正常響應(yīng)，需要引入負(fù)載均衡技術(shù)。在面對(duì)大量的用戶(hù)請(qǐng)求首先建立Nginx服務(wù)器集群，配置靈活的負(fù)載均衡策略實(shí)現(xiàn)Web請(qǐng)求的反向代理功能，以達(dá)到Web請(qǐng)求的分流和負(fù)載均衡。同時(shí)，在垂直搜索引擎的內(nèi)部，通過(guò)Map/Reduce框架中的數(shù)據(jù)分片，一個(gè)分片存儲(chǔ)在多個(gè)數(shù)據(jù)節(jié)點(diǎn)，各數(shù)據(jù)節(jié)點(diǎn)并行處理后匯總結(jié)果到管理節(jié)點(diǎn)，然后再返回給Web服務(wù)器。
　　在垂直搜索引擎中是通過(guò)分布式冗余機(jī)制避免單點(diǎn)故障和高可靠性，具體的來(lái)說(shuō)管理節(jié)點(diǎn)一般是兩個(gè)做HA，數(shù)據(jù)節(jié)點(diǎn)則采用索引分片，并對(duì)每個(gè)分片創(chuàng)建多個(gè)Replication（副本）分布存儲(chǔ)在其他的DataNode上，每個(gè)DataNode上都存儲(chǔ)一個(gè)主分片和多個(gè)副本分片。一個(gè)DataNode宕機(jī)，其主分片所在的DataNode會(huì)把副本分片作為主分片，并提供對(duì)這個(gè)分片的計(jì)算服務(wù)。所以單個(gè)數(shù)據(jù)節(jié)點(diǎn)宕機(jī)不會(huì)影響索引服務(wù)，一主N備的模式可以支持N個(gè)數(shù)據(jù)節(jié)點(diǎn)的故障冗余。
　　五、結(jié)束語(yǔ)
　　本文提出了一種在智慧城市云計(jì)算中心中應(yīng)用的垂直搜索技術(shù)架構(gòu)，面向智慧城市的應(yīng)用需求，利用云計(jì)算技術(shù)在存儲(chǔ)容量、計(jì)算性能和擴(kuò)展性方面的優(yōu)勢(shì)，優(yōu)化了垂直搜索引擎，可以支持智慧城市對(duì)垂直搜索的大規(guī)模的應(yīng)用需求。在后續(xù)工作中，還要把垂直搜索、云計(jì)算、大數(shù)據(jù)的最新技術(shù)結(jié)合進(jìn)行研究，以不斷促進(jìn)智慧城市應(yīng)用水平的提高。

    參考文獻(xiàn)：

• [1] 張會(huì)平.  地市級(jí)政府網(wǎng)站的信息計(jì)量指標(biāo)研究[J]. 電子科技大學(xué)學(xué)報(bào)(社科版). 2011(06)
• [2] 付強(qiáng).  基于Lucene的高校圖書(shū)垂直搜索引擎的研究與實(shí)現(xiàn)[J]. 太原師范學(xué)院學(xué)報(bào)(自然科學(xué)版). 2011(04)
• [3] 黃蔚,劉忠,劉全.  RL_Spider:一種自主垂直搜索引擎網(wǎng)絡(luò)爬蟲(chóng)[J]. 計(jì)算機(jī)應(yīng)用與軟件. 2011(12)
• [4] 李廣建,王巍巍.  國(guó)外政府網(wǎng)站整合服務(wù)研究[J]. 情報(bào)科學(xué). 2011(04)
• [5] 邵秀麗,劉彬,張濤.  基于Nutch的垂直搜索引擎的設(shè)計(jì)和實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與設(shè)計(jì). 2011(02)
• [6] 趙建偉,鄭誠(chéng),吳永俊.  基于語(yǔ)義查詢(xún)擴(kuò)展的垂直搜索研究[J]. 計(jì)算機(jī)工程. 2010(12)

本文編號(hào)：9011