【摘要】：現(xiàn)如今,隨著移動(dòng)產(chǎn)品的發(fā)展與普及,人們對(duì)內(nèi)容資訊類(lèi)產(chǎn)品的需求迫切度與日俱增,與之相對(duì)的便是內(nèi)容量的巨大提升,給編輯以及審核人員帶來(lái)了前所未有的壓力。為了適應(yīng)大數(shù)據(jù)時(shí)代的需求,項(xiàng)目組決定研發(fā)一套基于機(jī)器學(xué)習(xí)的內(nèi)容處理與監(jiān)控系統(tǒng),以此來(lái)完成內(nèi)容的自動(dòng)化過(guò)濾與分發(fā),從而為公司的多種內(nèi)容形態(tài)提供高效化、智能化的數(shù)據(jù)處理流程。論文講述的是項(xiàng)目組針對(duì)當(dāng)前信息化時(shí)代背景,結(jié)合當(dāng)前具有實(shí)際應(yīng)用潛力的機(jī)器學(xué)習(xí)理論設(shè)計(jì)而成的內(nèi)容處理與監(jiān)控系統(tǒng)。文中首先介紹了項(xiàng)目的背景及國(guó)內(nèi)外發(fā)展現(xiàn)狀,并對(duì)整個(gè)系統(tǒng)進(jìn)行功能性需求和非功能性需求的需求分析。之后根據(jù)需求分析設(shè)計(jì)系統(tǒng)架構(gòu)、劃分功能模塊、設(shè)計(jì)系統(tǒng)數(shù)據(jù)庫(kù)。接著對(duì)具體模塊進(jìn)行詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。最后對(duì)系統(tǒng)進(jìn)行測(cè)試與驗(yàn)證以確保達(dá)到上線要求。筆者獨(dú)立建立了模塊中用到的機(jī)器模型,并通過(guò)優(yōu)化算法及損失函數(shù)等對(duì)模型進(jìn)行了調(diào)整優(yōu)化。之后測(cè)試并驗(yàn)證了機(jī)器模型以及核心功能模塊,以確保系統(tǒng)達(dá)到上線標(biāo)準(zhǔn)。除此以外,筆者參與了系統(tǒng)核心的三大模塊的開(kāi)發(fā),分別為:內(nèi)容處理(內(nèi)容過(guò)濾與建模)、內(nèi)容審核、內(nèi)容監(jiān)控。在內(nèi)容過(guò)濾中,主要通過(guò)N-Gram語(yǔ)言模型對(duì)字符進(jìn)行匹配,利用決策樹(shù)及Center-Loss函數(shù)對(duì)模型進(jìn)行參數(shù)的調(diào)優(yōu);在內(nèi)容建模中,利用SVM(Support Vector Machine,支持向量機(jī))算法與GRU(Gated Recurrent Unit,門(mén)循環(huán)單元)模型對(duì)數(shù)據(jù)進(jìn)行初步的分類(lèi)與監(jiān)督,根據(jù)不同的內(nèi)容類(lèi)型分別采用了 TEXT-CNN以及FAST-RCNN模型進(jìn)行劃分;在內(nèi)容監(jiān)控中,為了得到實(shí)時(shí)數(shù)據(jù)結(jié)果,采用Spark實(shí)時(shí)框架及MemCache緩存等技術(shù),以此達(dá)到監(jiān)控的性能要求。目前該系統(tǒng)已上線,對(duì)于圖文的平均判定精確率達(dá)到了 95%以上,對(duì)于視頻的平均判定精確率達(dá)到了 80%以上。內(nèi)容處理速度控制在單篇平均耗時(shí)在120s內(nèi),實(shí)時(shí)監(jiān)控查詢速度控制在2s內(nèi)。
【圖文】：

在該理論中所應(yīng)用的學(xué)習(xí)策略主要可分為４類(lèi)——通過(guò)機(jī)械學(xué)習(xí)、通過(guò)傳播逡逑學(xué)習(xí)、通過(guò)歸納學(xué)習(xí)和通過(guò)樣本學(xué)習(xí)。一般較為復(fù)雜的學(xué)習(xí)模型，系統(tǒng)的能力也逡逑較強(qiáng)。如圖２－１所示：逡逑／邋ｃｌａｓｓｉｆｉｃａｔｉｏｎ邋ｒ－—ｓｃｉｋｉｔ－ｌｅａｒｎ逡逑／邐＼邐—：邋４邋＇＼邐ａｌｇｏｒｉｔｈｍ邋ｃｈｅａｔ－ｓｈｅｅｔ逡逑ｉ邐，邋ｉ邐Ｉ邋＆ＧＤ邋Ｉ邋＼邐／邋＾邐：■＇邋＼邐／逡逑＼邋Ｕ如、ｆ邋．．邐ｆ邐ｒｅｇｒｅｓｓｉｏｎ邐、逡逑＼邋ｍ邋，逡逑＼邋一２邐｜＾邋：３Ｉ；邋，／逡逑．邐ｄｎ－ｎｅｎｓ．ｏｎａｌ．ｔｖ邋＇；逡逑；；？ｆ邐＇邋ｒｅｄｕｃｔｉｏｎ逡逑圖２＿１機(jī)器學(xué)習(xí)概述圖逡逑Ｆｉｇｕｒｅ邋２－１邋Ｏｖｅｒｖｉｅｗ邋ｏｆ邋Ｍａｃｈｉｎｅ邋Ｌｅａｒｎｉｎｇ邋Ｄｉａｇｒａｍ逡逑５逡逑

與其通過(guò)程序直接去執(zhí)行特定的任務(wù)，不如讓計(jì)算機(jī)自己“學(xué)習(xí)”出一逡逑類(lèi)特定的算法來(lái)完成這項(xiàng)任務(wù)。有三種主要類(lèi)型的機(jī)器學(xué)習(xí)，分別是：監(jiān)督學(xué)習(xí)、逡逑非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，每一種類(lèi)型的學(xué)習(xí)方式都有其優(yōu)勢(shì)和劣勢(shì)。如圖２－２所示：逡逑＾Ｔ＝：，

本文編號(hào)：2671932