本文關(guān)鍵詞：復(fù)雜網(wǎng)絡(luò)，由筆耕文化傳播整理發(fā)布。

用戶畫(huà)像不應(yīng)脫離社會(huì)關(guān)系，談復(fù)雜網(wǎng)絡(luò)的關(guān)鍵技術(shù)和應(yīng)用實(shí)踐

　　大家好,我來(lái)自天云大數(shù)據(jù)公司,我叫馬敬濤,主要從事數(shù)據(jù)科學(xué)應(yīng)用方面的工作。

　　今天我給大家分享的主題是“復(fù)雜網(wǎng)絡(luò)理論及應(yīng)用”，希望本次分享的內(nèi)容能給大家?guī)?lái)一些啟發(fā)，如果內(nèi)容中有說(shuō)的不妥的地方也請(qǐng)大家多多包涵并給予指教，多謝!

　　復(fù)雜網(wǎng)絡(luò)概念及價(jià)值

　　復(fù)雜網(wǎng)絡(luò)概念及價(jià)值在開(kāi)始之前，我先澄清一個(gè)概念，那就是“復(fù)雜網(wǎng)絡(luò)”和“圖”這兩個(gè)概念的關(guān)系，這是我們?cè)诜治鲅芯窟@個(gè)領(lǐng)域中所經(jīng)常遇到的兩個(gè)名詞。

　　從根源上來(lái)講“復(fù)雜網(wǎng)絡(luò)”和“圖”描述是同一種事物，都是由“點(diǎn)”和連接“點(diǎn)”的邊所組成的網(wǎng)絡(luò)，都是研究“點(diǎn)”與“點(diǎn)”之間相互影響的“關(guān)聯(lián)關(guān)系”，但側(cè)重點(diǎn)不一樣。

　　“圖”是一種數(shù)學(xué)工具，在數(shù)學(xué)領(lǐng)域是一門(mén)獨(dú)立的學(xué)科，源于十九世紀(jì)的著名“歌尼斯堡七橋問(wèn)題”,并由此誕生的歐拉“圖論”，歐拉是著名

　　可以說(shuō)，“圖”或者“圖論”是以網(wǎng)絡(luò)作為研究對(duì)象和組織數(shù)據(jù)，對(duì)其進(jìn)行分析并發(fā)現(xiàn)一些規(guī)律，提煉出數(shù)學(xué)算法，從把規(guī)律的研究變成可計(jì)算化的數(shù)學(xué)公式，因此，“圖論”是側(cè)重于學(xué)術(shù)理論的，“圖論”的算法是普適性的，是數(shù)學(xué)家們關(guān)注的方向。

　　“復(fù)雜網(wǎng)絡(luò)”源于“圖論”，它的側(cè)重點(diǎn)是面向于工程，是將“圖論”的理論帶入到現(xiàn)實(shí)的生活生產(chǎn)中，結(jié)合圖算法理論、應(yīng)用場(chǎng)景以及科學(xué)技術(shù)等方面能力，幫助我們?nèi)ビ^察和理解真實(shí)的客觀世界。

　　隨著大數(shù)據(jù)技術(shù)應(yīng)用，“大規(guī)模復(fù)雜網(wǎng)絡(luò)”或者稱之為“大圖”的應(yīng)用能力已成為了現(xiàn)實(shí)，舉個(gè)例子我們現(xiàn)在用的微信，可以構(gòu)造出一張數(shù)億節(jié)點(diǎn)和數(shù)十億條邊的復(fù)雜網(wǎng)絡(luò)，節(jié)點(diǎn)代表一個(gè)人，邊就代表人與人之間的朋友關(guān)系，微博、電信通話等領(lǐng)域同樣如此。

　　總之，只要是能夠?qū)陀^世界抽象出網(wǎng)絡(luò)的場(chǎng)景，都是復(fù)雜網(wǎng)絡(luò)所要研究的領(lǐng)域。

　　基本概念說(shuō)完了，下面我們從“還原論”的角度開(kāi)啟“復(fù)雜網(wǎng)絡(luò)”的里程。

　　我們都知道一個(gè)道理，那就是“化繁為簡(jiǎn)”，把一個(gè)復(fù)雜的事物或事情，進(jìn)行拆解，變成多個(gè)簡(jiǎn)單的事物或組成物，通過(guò)分析這些簡(jiǎn)單的再去理解復(fù)雜的，這就是“還原論”，它是一套哲學(xué)思想，我們不能否認(rèn)這套哲學(xué)思想的價(jià)值，這么多年的科學(xué)發(fā)展都是沿著這套屢試不爽的哲學(xué)理論不斷前進(jìn)著，它的貢獻(xiàn)是值得歌頌的，而且以后也會(huì)繼續(xù)存在著。

　　但是，只有“還原論”還是不夠的。

　　因?yàn)�，自然界是一個(gè)復(fù)雜系統(tǒng)，并不是一個(gè)設(shè)計(jì)良好并只有一個(gè)答案的謎題，如果我們只是孤立的去看待一個(gè)事物本身并對(duì)其進(jìn)行拆解研究，會(huì)發(fā)現(xiàn)，很多問(wèn)題我們?nèi)匀粵](méi)有得到很好的答案，比如，我們對(duì)生命的研究已經(jīng)進(jìn)入到了分子理論—“基因理論”，也確實(shí)發(fā)現(xiàn)不少癌癥的致病基因，但是，你能確定“一個(gè)有癌癥基因的人真的會(huì)患癌癥嗎?”，答案是“不”，

　　為什么呢? 因?yàn)�，我們�(cè)凇斑�原論”的高速公路上撞上了“復(fù)雜性”。

　　我們所生活的世界，每一草、每一木，每一個(gè)人以及每一個(gè)事物都不是孤立存在，他們存在于自然界，并自組織成為一個(gè)良好、穩(wěn)定且嚴(yán)格的架構(gòu)，并且萬(wàn)事萬(wàn)物都是相互存在著聯(lián)系，并相互影響著，我們看到的每一個(gè)現(xiàn)象的發(fā)生，都只是一個(gè)表象或者結(jié)果，個(gè)體的改變只是在行使著過(guò)程，最重要的更是其背后所蘊(yùn)藏巨大的復(fù)雜性，慶幸的是，科學(xué)界已經(jīng)發(fā)現(xiàn)了這個(gè)背后的嚴(yán)格架構(gòu)，并將其抽象出網(wǎng)絡(luò)的形態(tài)，我們見(jiàn)證一個(gè)正在醞釀的變革，網(wǎng)絡(luò)將以前所未有的程度主宰這個(gè)新世紀(jì)。

　　講到這里，希望大家開(kāi)始有所感悟，能夠體會(huì)到“網(wǎng)絡(luò)”這只無(wú)形的手，在操控著萬(wàn)事萬(wàn)物的發(fā)展變化。

　　“復(fù)雜網(wǎng)絡(luò)”雖然發(fā)展時(shí)間不長(zhǎng)，但這個(gè)概念不是隨便說(shuō)說(shuō)的，著名的科學(xué)家錢(qián)學(xué)森先生，給出了復(fù)雜網(wǎng)絡(luò)一個(gè)嚴(yán)格的定義：具有自組織、自相似、吸引子、小世界、無(wú)標(biāo)度中部分或全部性質(zhì)的網(wǎng)絡(luò)稱為復(fù)雜網(wǎng)絡(luò)。

　　復(fù)雜網(wǎng)絡(luò)主要有以下幾個(gè)特點(diǎn)：

　　第1，結(jié)構(gòu)復(fù)雜，不用解釋太多，自然界就是復(fù)雜的，抽象出來(lái)的網(wǎng)絡(luò)也是復(fù)雜的。

　　第2，網(wǎng)絡(luò)進(jìn)化，世界在發(fā)展，代表它的網(wǎng)絡(luò)也是在變化，網(wǎng)絡(luò)中會(huì)不斷地產(chǎn)生新的節(jié)點(diǎn)，也會(huì)產(chǎn)生新的關(guān)系，同樣，也會(huì)在消失著一些節(jié)點(diǎn)和關(guān)系。今天我們是朋友，明天你們和他們也會(huì)成為朋友。

　　第3，連接多樣，連接邊不是只代表一種類別的關(guān)系，只要能代表事物和事物之間關(guān)系的都可以描述成邊，只要是屬于我們所要研究范疇的。你和她是朋友關(guān)系，也可能還存在著同事關(guān)系。

　　第4，動(dòng)力學(xué)復(fù)雜性，它代表一種動(dòng)態(tài)的特性，事物之間的影響是可以傳播的，一個(gè)事物發(fā)生了改變，可能會(huì)影響與它有關(guān)聯(lián)的其它事物的改變，并將這種改變傳播出去，把這種傳播變成可計(jì)算化，正是動(dòng)力學(xué)所要研究的方向。

　　第5，多重復(fù)雜性結(jié)合，正是多種事物相互關(guān)聯(lián)和互相影響，體現(xiàn)出它的變化復(fù)雜性和未知性，未來(lái)發(fā)展趨勢(shì)，并非一個(gè)簡(jiǎn)單的線性公式所能解釋的。

　　第6，節(jié)點(diǎn)的多樣性，和連接多樣性一樣，網(wǎng)絡(luò)中的節(jié)點(diǎn)可以代表任何事物，只要是屬于我們所要研究的范疇。

　　復(fù)雜網(wǎng)絡(luò)存在我們身邊。

　　復(fù)雜網(wǎng)絡(luò)的研究領(lǐng)域非常廣泛，小到一個(gè)公司內(nèi)部同事之間的關(guān)聯(lián)關(guān)系，大到一個(gè)社會(huì)所有人之間的關(guān)聯(lián)關(guān)系，但是不變的一點(diǎn)就是，只有是能夠抽象出由“節(jié)點(diǎn)”和“邊”所連接的網(wǎng)絡(luò)的，那就是復(fù)雜網(wǎng)絡(luò)。

　　接下來(lái)，我們聚焦一下，把復(fù)雜網(wǎng)絡(luò)研究聚焦在人的身上。

　　不論我們做風(fēng)險(xiǎn)分析、還是做精準(zhǔn)營(yíng)銷(xiāo)，很多分析研究都會(huì)具體體現(xiàn)在人，我們?cè)趺纯创粋�(gè)人?大數(shù)據(jù)告訴我們，要做客戶畫(huà)像，具體描述每一個(gè)人的個(gè)性化特征，從而了解每一個(gè)人，并提供個(gè)性化的服務(wù)并采用一些措施。

　　這些都沒(méi)錯(cuò)，我們按照傳統(tǒng)和現(xiàn)有的分析技術(shù)，可以相當(dāng)詳細(xì)的描述一個(gè)人，例如，我們可以收集客戶的基本信息，包括“年齡”、“身高”、“性別”，以及我們還收集他的行為軌跡數(shù)據(jù)，例如，他的愛(ài)不愛(ài)看電影，愛(ài)看什么電影，什么時(shí)候會(huì)去看電影，他上不上網(wǎng)，上什么網(wǎng)絡(luò)，看什么樣的網(wǎng)頁(yè)內(nèi)容等等。

　　但是，以上還只是在孤立的看待這個(gè)人本身，而忽視了一個(gè)重要因素，那就是他的社會(huì)關(guān)系，因?yàn)�，每個(gè)人所產(chǎn)生的行動(dòng)很大程度上會(huì)受周?chē)说挠绊�，父母影響孩子，老板影響員工，作家影響讀者，朋友影響朋友，其實(shí)我們想想，我們實(shí)際的生活中，所做的很多事情都在受到我們的朋友、同事、親屬以及領(lǐng)導(dǎo)的影響。我的志同道合的一個(gè)好朋友，在用Macbook筆記本電腦，如果我也需要買(mǎi)一臺(tái)電腦，選擇蘋(píng)果的產(chǎn)品可能性就會(huì)很高。周?chē)耐露荚谂ぷ鳎倚傅】赡苄砸膊粫?huì)很大。

　　如果再對(duì)這些網(wǎng)絡(luò)之間的影響進(jìn)行量化，并且可計(jì)算化，也許我們就可以預(yù)測(cè)這個(gè)人的下一步計(jì)劃，但前提一定要做到可計(jì)算化。

　　好在“圖論”為我們提供了豐富的圖算法，幫助我們將抽象出來(lái)的復(fù)雜網(wǎng)絡(luò)進(jìn)行計(jì)算，從而挖掘出我們所需要的價(jià)值信息，這一點(diǎn)，要?dú)w功于“圖論”的數(shù)學(xué)家以及將圖計(jì)算應(yīng)用于實(shí)際工程生產(chǎn)的業(yè)務(wù)專家和技術(shù)工程師們。

　　復(fù)雜網(wǎng)絡(luò)的關(guān)鍵技術(shù)

　　復(fù)雜網(wǎng)絡(luò)的關(guān)鍵技術(shù)之前我介紹了復(fù)雜網(wǎng)絡(luò)概念及價(jià)值，接下來(lái)我要給大家談的就是復(fù)雜網(wǎng)絡(luò)的關(guān)鍵技術(shù)。

　　大數(shù)據(jù)時(shí)代的到來(lái)，復(fù)雜網(wǎng)絡(luò)研究的數(shù)據(jù)范圍也成規(guī)�；l(fā)展，面對(duì)由數(shù)千萬(wàn)甚至數(shù)億節(jié)點(diǎn)構(gòu)成的大規(guī)模網(wǎng)絡(luò)，即時(shí)有成型的業(yè)務(wù)解決方案和相關(guān)的算法，但沒(méi)有一種支撐技術(shù)，也是很難解決當(dāng)下復(fù)雜網(wǎng)絡(luò)應(yīng)用的問(wèn)題的。

　　當(dāng)下，我們要去解決大規(guī)模復(fù)雜網(wǎng)絡(luò)問(wèn)題，總結(jié)一下，需要兩點(diǎn)技術(shù)，第一，是要使用大數(shù)據(jù)技術(shù)，第二，要改變我們傳統(tǒng)分析圖所使用的數(shù)據(jù)結(jié)構(gòu)。

　　根據(jù)我們以往的項(xiàng)目經(jīng)驗(yàn)，做大規(guī)模圖分析采用的數(shù)據(jù)結(jié)構(gòu)主要分為兩種，傳統(tǒng)的方式，是使用關(guān)系型數(shù)據(jù)庫(kù)，創(chuàng)新也是最佳的方式是使用矩陣數(shù)據(jù)結(jié)構(gòu)，這兩種結(jié)構(gòu)，都可以在物理層上去表達(dá)網(wǎng)絡(luò)結(jié)構(gòu)模型，從而為上層復(fù)雜網(wǎng)絡(luò)分析提供良好的底層數(shù)據(jù)支撐。

　　接下來(lái)，我們分析一下，這兩種數(shù)據(jù)結(jié)構(gòu)形態(tài)的差異。

　　關(guān)系型數(shù)據(jù)庫(kù)，由于其嚴(yán)格的schema定義，一張表所能表達(dá)的列數(shù)有有限的，最多也不會(huì)超過(guò)2000列，如果把一張網(wǎng)絡(luò)存儲(chǔ)在關(guān)系表中，那么網(wǎng)絡(luò)種每個(gè)節(jié)點(diǎn)的邊數(shù)需要限制在2000條以內(nèi)，但實(shí)際情況并非能控制在2000以內(nèi)，因?yàn)?strong>復(fù)雜網(wǎng)絡(luò)是呈冪率分布的，總會(huì)有部分節(jié)點(diǎn)的邊數(shù)量超過(guò)2000條，因此，如果使用關(guān)系型數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)網(wǎng)絡(luò)，只能每一行存儲(chǔ)一條關(guān)系對(duì)，一個(gè)網(wǎng)絡(luò)中有多少條關(guān)系邊，就會(huì)存儲(chǔ)多少行數(shù)據(jù)。

　　但換成矩陣的方式來(lái)表達(dá)網(wǎng)絡(luò)就不同了，采用的矩陣主要是鄰接矩陣，它是把網(wǎng)絡(luò)中所有的節(jié)點(diǎn)按行列布局成一個(gè)寬大的方陣，如果兩個(gè)節(jié)點(diǎn)之間有連接關(guān)系，則在矩陣上這兩個(gè)節(jié)點(diǎn)的行列交叉位置上置為1，否則為0。

　　接下來(lái)，復(fù)雜網(wǎng)絡(luò)最核心的一個(gè)問(wèn)題就是如何快速的查找出節(jié)點(diǎn)的關(guān)聯(lián)關(guān)系，再給定一個(gè)節(jié)點(diǎn)時(shí)，需要查找它的1度關(guān)聯(lián)關(guān)系，如果在關(guān)系型數(shù)據(jù)庫(kù)上，則會(huì)發(fā)生大規(guī)模的掃表任務(wù)，在一張數(shù)十億條記錄的大表中找到與給定節(jié)點(diǎn)有關(guān)系的記錄，計(jì)算量非常大，如果查找的關(guān)系深度達(dá)到1度以上的話，則計(jì)算量則呈指數(shù)倍上升。

　　但換成矩陣的形態(tài)來(lái)查找關(guān)聯(lián)關(guān)系則輕松的多，只需一次掃矩陣的行，定位到節(jié)點(diǎn)所在的矩陣行位置，則就無(wú)需其它計(jì)算就能夠快速的把指定節(jié)點(diǎn)的所有關(guān)系找出來(lái)。在性能上比使用關(guān)系模型快數(shù)倍之多。

　　接下來(lái)，我們?cè)诳纯创髷?shù)據(jù)技術(shù)，大數(shù)據(jù)技術(shù)的核心思想就是分布是存儲(chǔ)和分布式處理。

　　既然要用到分布式，就會(huì)涉及到對(duì)數(shù)據(jù)的切的過(guò)程，只有切成多份的數(shù)據(jù)，存儲(chǔ)在多臺(tái)集群服務(wù)器上，才能夠利用多臺(tái)服務(wù)器的計(jì)算資源進(jìn)行高效的分布是處理。

　　對(duì)于大規(guī)模網(wǎng)絡(luò)也是要進(jìn)行切的過(guò)程，但與傳統(tǒng)數(shù)據(jù)切分方式不同，網(wǎng)絡(luò)的切分是有它的特點(diǎn)的。

　　主要包括三種切分方式，按點(diǎn)切、按邊切和隨機(jī)切。

　　按點(diǎn)切，主要是將度值非常高的節(jié)點(diǎn)切分成多個(gè)子網(wǎng)絡(luò)，然后分布存儲(chǔ)在多臺(tái)服務(wù)器上，避免命中該節(jié)點(diǎn)會(huì)導(dǎo)致單臺(tái)服務(wù)器負(fù)載過(guò)大的問(wèn)題。

　　按邊切，主要是切弱連接，也就是兩個(gè)連接非常稠密的網(wǎng)絡(luò)之間的若干條邊，這主要是為了避免，切分稠密子網(wǎng)會(huì)導(dǎo)致集群服務(wù)器之間傳輸量增大的問(wèn)題，畢竟以太網(wǎng)的延遲要比主板總線的延遲慢了百萬(wàn)倍。

　　隨機(jī)切，主要針對(duì)看不出網(wǎng)絡(luò)分布特征的切法，其實(shí)客觀世界不存在隨機(jī)網(wǎng)絡(luò)，如果只是實(shí)驗(yàn)研究的網(wǎng)絡(luò)，可以采用此類分布方式，從而達(dá)到均衡負(fù)載，提升網(wǎng)絡(luò)分析的效率。

　　復(fù)雜網(wǎng)絡(luò)的應(yīng)用價(jià)值

　　復(fù)雜網(wǎng)絡(luò)的應(yīng)用價(jià)值介紹完關(guān)鍵技術(shù)，我們?cè)倏纯?strong>復(fù)雜網(wǎng)絡(luò)的應(yīng)用價(jià)值。

　　物以類聚，人以群分，眾多節(jié)點(diǎn)關(guān)系稠密的編織在一起，會(huì)形成一社群，社群中的節(jié)點(diǎn)的相似性極高。就好比我們的朋友圈，朋友圈中人與人之間相互影響較大，相似性極高，可能都是某一個(gè)領(lǐng)域的人，也可能是共同志向的人。這就是社團(tuán)，使用復(fù)雜網(wǎng)絡(luò)分析，可以發(fā)現(xiàn)這種社團(tuán)，從而幫助我們發(fā)現(xiàn)潛在的價(jià)值信息。例如，潛在客戶挖掘、關(guān)聯(lián)群體風(fēng)險(xiǎn)分析。因?yàn)楫?dāng)一個(gè)群體中發(fā)現(xiàn)有部分個(gè)體有某種特征，可以推斷出該群體其他個(gè)體有這種特征的可能性會(huì)非常大。

　　中心性的價(jià)值分析，基于網(wǎng)絡(luò)中節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接關(guān)系，通過(guò)中心性的圖算法，就可以有效的發(fā)現(xiàn)出網(wǎng)絡(luò)中的核心節(jié)點(diǎn)，這些核心節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)的影響力極大，發(fā)現(xiàn)并掌控這些核心節(jié)點(diǎn)，就可以影響網(wǎng)絡(luò)朝著我們所希望的方向發(fā)展或者挖掘到最具有價(jià)值的個(gè)體。

　　當(dāng)我們發(fā)現(xiàn)網(wǎng)絡(luò)中節(jié)點(diǎn)與節(jié)點(diǎn)之間的影響關(guān)系，就可以把它們進(jìn)行量化，并通過(guò)計(jì)算的方式模擬并預(yù)演未來(lái)發(fā)展的變化趨勢(shì)，從而有效地預(yù)測(cè)并掌控未來(lái)的發(fā)展走向。例如，流行性疾病傳播分析、輿論傳播分析、金融風(fēng)險(xiǎn)傳播分析。

　　復(fù)雜的關(guān)系很難看出其中實(shí)質(zhì)性的關(guān)系，通過(guò)關(guān)系穿透分析，能夠幫助我們快速找到節(jié)點(diǎn)背后的相關(guān)性，梳理出一張實(shí)質(zhì)性網(wǎng)絡(luò)，透過(guò)復(fù)雜的表象看到其實(shí)質(zhì)性的問(wèn)題。

　　我們聚焦在金融上，通過(guò)連接企業(yè)之間的關(guān)聯(lián)關(guān)系，通過(guò)計(jì)算，可以幫助我們發(fā)現(xiàn)企業(yè)關(guān)系網(wǎng)背后可能會(huì)出現(xiàn)的風(fēng)險(xiǎn)，例如，識(shí)別擔(dān)保圈、發(fā)現(xiàn)異常資金往來(lái)，從而規(guī)避金融風(fēng)險(xiǎn)。

　　應(yīng)用場(chǎng)景還會(huì)很多，時(shí)間的緣故，這里就不再過(guò)多地闡述，剩下的時(shí)間，我給大家分享一些小概念和資料。

　　最后，不能脫俗，介紹一下我們公司。

　　我們有一整套解決大規(guī)模復(fù)雜網(wǎng)絡(luò)問(wèn)題的技術(shù)工具和解決方案，簡(jiǎn)稱BDCN

　　謝謝!

　　Q&AQ1：馬老師您好，您覺(jué)得知識(shí)圖譜未來(lái)的市場(chǎng)怎么樣?

　　馬敬濤：我覺(jué)得，市場(chǎng)是用戶說(shuō)的算，我們目前接觸到的客戶，已經(jīng)有很多對(duì)這個(gè)領(lǐng)域的探索感興趣，并且一些傳統(tǒng)著名的咨詢公司也在和我們探討這方面的應(yīng)用，在風(fēng)險(xiǎn)評(píng)估方面，他們稱為預(yù)警的預(yù)警。

　　Q2：復(fù)雜網(wǎng)絡(luò)的集群和機(jī)器學(xué)習(xí)中的clustering analysis是否有 相似的點(diǎn)? 復(fù)雜網(wǎng)絡(luò)在目前的應(yīng)用情況是怎樣的，有很典型的算法嗎，或者可以實(shí)現(xiàn)的R/Python的包嗎?

　　馬敬濤：底層架構(gòu)可以一樣，基于Hadoop+Spark技術(shù)，把算法轉(zhuǎn)換為分布式計(jì)算，在集群上運(yùn)行。

　　兩者部分都會(huì)涉及迭代計(jì)算，機(jī)器學(xué)習(xí)需要先訓(xùn)練，在應(yīng)用， 復(fù)雜網(wǎng)絡(luò)的算法計(jì)算和應(yīng)用結(jié)合在一起。

　　其實(shí)圖算法有很多，圖的算法程序也有很多，典型的算法，最短路徑，度值統(tǒng)計(jì)，中心性發(fā)現(xiàn)，社團(tuán)發(fā)現(xiàn)，Pagerank(google的)，K-殼。但將這些算法程序轉(zhuǎn)換成分布式程序，運(yùn)行在大數(shù)據(jù)集群上，是挑戰(zhàn)，也是機(jī)遇。具體算法原理，我沒(méi)辦法在這里闡述，風(fēng)險(xiǎn)點(diǎn)識(shí)別，有一種常用的方法就是算它離其他風(fēng)險(xiǎn)點(diǎn)的距離。三度影響就是闡述這個(gè)概念。復(fù)雜網(wǎng)絡(luò)逐步落地還有一段路要走，目前機(jī)器學(xué)習(xí)和深度學(xué)習(xí)正在熱門(mén)的階段。

　　Q3：矩陣結(jié)構(gòu)數(shù)據(jù)具體是用什么數(shù)據(jù)庫(kù)存儲(chǔ)的?

　　馬敬濤：你可以使用NoSQL，圖就是一種Nosql的應(yīng)用場(chǎng)景。

　　Q4：neo4j是目前最合適的數(shù)據(jù)庫(kù)嗎?

　　馬敬濤：?jiǎn)螜C(jī)來(lái)說(shuō)，它應(yīng)該是最主流的，但就我了解，它無(wú)法支持大規(guī)模圖，并且它是個(gè)圖查詢庫(kù)，不是圖計(jì)算庫(kù)。

　　Q5：比如，一個(gè)盜卡的用戶，你怎么通過(guò)構(gòu)建圖算法，來(lái)自動(dòng)識(shí)別他是一個(gè)盜卡行為的，能說(shuō)說(shuō)你做的具體思路嗎?

　　馬敬濤：找風(fēng)險(xiǎn)種子,就是以往欺詐用戶所使用的同一個(gè)手機(jī)號(hào),同一個(gè)地址. 然后找到離這些被識(shí)別出欺詐風(fēng)險(xiǎn)點(diǎn)的近距離節(jié)點(diǎn),然后通過(guò)社團(tuán)發(fā)現(xiàn)再找其他相似點(diǎn)。

　　Q6：這種只能找到一小部分，一些新的盜卡模式找不出來(lái)?

　　馬敬濤：那就是先知道有哪些風(fēng)險(xiǎn)點(diǎn)，，再擴(kuò)散，這樣很大一個(gè)問(wèn)題，新的風(fēng)險(xiǎn)模式找不出來(lái)，另外樣本有限。

　　樣本有限是個(gè)關(guān)鍵問(wèn)題,目前也只能通過(guò)引入外部數(shù)據(jù),來(lái)進(jìn)一步補(bǔ)全網(wǎng)絡(luò)。

　　Q7：目前免費(fèi)的支持大規(guī)模圖查詢展現(xiàn)的有哪些框架呢?

　　馬敬濤：InfiniteGraph、OrientDB、InfoGrid和HypergraphDB，好像是免費(fèi)的，不確定噢。

　　Q8：但是對(duì)于一些新的模式，想知道怎么構(gòu)建一個(gè)自動(dòng)的概率網(wǎng)絡(luò)，來(lái)識(shí)別整個(gè)網(wǎng)絡(luò)的問(wèn)題，這方面你有經(jīng)驗(yàn)嗎?自動(dòng)的概率網(wǎng)絡(luò)是什么意思?能詳細(xì)的說(shuō)下嗎?

　　馬敬濤：可以理解成病毒網(wǎng)絡(luò)傳播，傳播的影響權(quán)重結(jié)合被傳播對(duì)象的免疫程度，進(jìn)行量化計(jì)算

　　Q9：復(fù)雜網(wǎng)絡(luò)的計(jì)算能力怎么樣?中文信息模糊比對(duì)組網(wǎng)如何處理?有沒(méi)有案例?

　　馬敬濤：復(fù)雜網(wǎng)絡(luò)如果基于大數(shù)據(jù)技術(shù)，計(jì)算能力可以線性提升的，但要分不同的算法。中文信息模糊比對(duì)，通過(guò)一些自然語(yǔ)言的處理技術(shù)，根據(jù)識(shí)別的關(guān)鍵詞以及實(shí)體來(lái)進(jìn)行匹配并建立關(guān)系。目前還沒(méi)有相關(guān)的案例。

　　Q10：社區(qū)發(fā)現(xiàn)跟聚類差不多，會(huì)形成很多的社區(qū)，如何能夠直接確定這些大社區(qū)有問(wèn)題呢?我們目前用圖算法，只是形成一些特征，作為下一步模型分析的輸入。

　　馬敬濤：對(duì)于社群來(lái)說(shuō)，目前還是根據(jù)社團(tuán)中已知特征節(jié)點(diǎn)的比重和離特征節(jié)點(diǎn)的距離，來(lái)評(píng)估潛在點(diǎn)。

　　其實(shí)，現(xiàn)在圖計(jì)算這塊，業(yè)務(wù)可解釋性較弱，但計(jì)算出來(lái)特征還是作為模型預(yù)測(cè)的很好特征變量的補(bǔ)充。

　　現(xiàn)在也是在研究和推進(jìn)這塊，一是社團(tuán)的計(jì)算，二是如何解決大規(guī)模網(wǎng)絡(luò)的社團(tuán)發(fā)現(xiàn)問(wèn)題。

　　講師介紹:馬敬濤，天云大數(shù)據(jù)高級(jí)售前工程師，具有近10以上的數(shù)據(jù)庫(kù)及大數(shù)據(jù)行業(yè)的從業(yè)經(jīng)驗(yàn)，先后參與并負(fù)責(zé)完成了多家全國(guó)股份制銀行、保險(xiǎn)公司、電信運(yùn)營(yíng)商等客戶的數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)項(xiàng)目的建設(shè)工作，部分項(xiàng)目的數(shù)據(jù)規(guī)模達(dá)百TB級(jí)，創(chuàng)新的使用復(fù)雜網(wǎng)絡(luò)技術(shù)成功為某知名機(jī)構(gòu)實(shí)施了大數(shù)據(jù)應(yīng)用項(xiàng)目。

　　注：本文轉(zhuǎn)載自大數(shù)據(jù)雜談，版權(quán)著作權(quán)歸原創(chuàng)者所有，如有侵權(quán)請(qǐng)聯(lián)系小編更正。

責(zé)任編輯：陳近梅

  本文關(guān)鍵詞：復(fù)雜網(wǎng)絡(luò)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：198057