本文選題：多核 + 多線程�。� 參考：《天津工業(yè)大學(xué)》2017年碩士論文

【摘要】：相似連接(similarityjoin)是指在給定的數(shù)據(jù)集中,根據(jù)給定的相似度度量函數(shù)來衡量數(shù)據(jù)之間的相似度,并找出所有相似度不小于給定閾值的數(shù)據(jù)對的操作。相似連接有著廣泛的應(yīng)用領(lǐng)域,如,模糊的關(guān)鍵字匹配,文檔聚類,系統(tǒng)推薦,協(xié)同過濾,數(shù)據(jù)集成與清洗等。隨著網(wǎng)絡(luò)和移動應(yīng)用等信息技術(shù)的不斷發(fā)展,數(shù)據(jù)呈現(xiàn)爆炸式增長,海量數(shù)據(jù)的分析需要強(qiáng)大的計算能力,相似連接成為大數(shù)據(jù)處理領(lǐng)域的熱點方式之一。度量相似性的方法有很多種,如,Jaccard similarity,Cosine similarity,Overlap similarity,Hamming distance,Edit distance。本篇文章主要采用 Jaccard similarity的方法去量化數(shù)據(jù)對相似值。傳統(tǒng)的單核計算機(jī)平臺的處理能力已經(jīng)很難滿足海量數(shù)據(jù)處理的計算要求。為了提高計算效率和計算性能,利用基于多核平臺的多線程并行編程發(fā)揮多核體系結(jié)構(gòu)的優(yōu)勢,已經(jīng)成為實現(xiàn)個人低成本并行計算和多核技術(shù)發(fā)展的趨勢。為海量數(shù)據(jù)下的相似連接帶來了曙光。實驗中,本文基于提出的數(shù)據(jù)分解和任務(wù)分解策略實現(xiàn)了四種不同相似連接算法,以此來驗證本文提出的基于多核的并行相似連接方法的性能和可擴(kuò)展性。四種算法為:數(shù)據(jù)量均衡劃分與共享索引的方法,等長數(shù)據(jù)劃分與共享索引的方法,數(shù)據(jù)量均衡劃分與獨立索引的方法,等長數(shù)據(jù)劃分與獨立索引的方法。通過實驗證明,本文提出的方法可以充分利用多核處理器架構(gòu)的并行處理能力,可以顯著的提高相似連接的效率。
[Abstract]:Similarity join is an operation that measures the similarity between data according to the given similarity measure function in a given data set and finds out all the data pairs whose similarity is not less than a given threshold. Similar join has a wide range of applications, such as fuzzy keyword matching, document clustering, system recommendation, collaborative filtering, data integration and cleaning. With the development of information technology, such as network and mobile application, the data is increasing explosively. The analysis of massive data needs powerful computing power. Similarity connection has become one of the hot methods in big data's processing field. There are many methods to measure similarity, such as Jaccard similarity and Cosine similarity / overlap similarity / hamming distance.Edit distance. This article mainly uses Jaccard similarity method to quantify the data pair similarity value. The processing ability of the traditional single-core computer platform has been difficult to meet the computing requirements of mass data processing. In order to improve computing efficiency and computing performance, it has become a trend to realize personal low-cost parallel computing and multi-core technology development by using multi-core multi-thread parallel programming based on multi-core platform to give play to the advantages of multi-core architecture. It brings the dawn to the similar connection under the massive data. In the experiment, four different similarity join algorithms are implemented based on the proposed data decomposition and task decomposition strategies to verify the performance and scalability of the proposed parallel similar join method based on multiple cores. The four algorithms are: the method of data equalization and sharing index, the method of equal-length data partition and shared index, the method of data balance partition and independent index, the method of equal-length data partition and independent index. The experiments show that the proposed method can make full use of the parallel processing ability of the multi-core processor architecture and can significantly improve the efficiency of similar connections.
【學(xué)位授予單位】：天津工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP332;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張云苑;Java多線程并發(fā)技術(shù)的實現(xiàn)[J];電腦開發(fā)與應(yīng)用;2004年09期

2 白紅;;淺議Java多線程程序設(shè)計[J];計算機(jī)光盤軟件與應(yīng)用;2013年02期

3 田曉紅;國產(chǎn)多線程瀏覽器“七仙女”的靚點[J];電腦愛好者;2000年24期

4 謝謙,向國全;多線程串行通信實現(xiàn)技術(shù)[J];河南大學(xué)學(xué)報(自然科學(xué)版);2001年01期

5 margiex;;多線程中線程的同步及其應(yīng)用[J];中文信息;2002年02期

6 肖燁;楊智勇;;Java多線程程序設(shè)計入門[J];中文信息;2003年06期

7 蘇統(tǒng)華;;多線程串行通信系統(tǒng)的研究[J];中文信息;2003年07期

8 崔立劍;吳平;;Java多線程設(shè)計模式研究[J];計算機(jī)與現(xiàn)代化;2006年11期

9 甘群文;;C#多線程同步與異步的實現(xiàn)[J];電腦開發(fā)與應(yīng)用;2009年09期

10 王沛禮;;高職學(xué)生如何掌握J(rèn)ava多線程同步技術(shù)[J];科技信息;2010年03期

相關(guān)會議論文 前10條

1 姚鐸;劉亞萍;;一種基于多線程的BGP策略并行模型的研究方法[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

2 劉陽;李孝輝;;多線程版本的串口讀寫技術(shù)研究[A];第三屆全國虛擬儀器大會論文集[C];2008年

3 董光波;吳寧生;高效;曾慶虎;楊進(jìn);溫京;;一種組件式多線程網(wǎng)絡(luò)應(yīng)用架構(gòu)的設(shè)計與實現(xiàn)[A];2009年中國智能自動化會議論文集（第六分冊）[中南大學(xué)學(xué)報（增刊）][C];2009年

4 肖靜靜;李雙峰;彭智勇;;用多線程方式優(yōu)化PostgreSQL的查詢處理[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2003年

5 高齊新;揚(yáng)金柱;趙大哲;劉積仁;;基于多線程的三維醫(yī)學(xué)影像的重建[A];第十四屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2008年

6 聞建芬;何加銘;曾興斌;陳靜;;P2P網(wǎng)絡(luò)資源多線程傳輸改進(jìn)機(jī)制[A];浙江省電子學(xué)會2010學(xué)術(shù)年會論文集[C];2010年

7 王楠;慕曉冬;王寧燕;宋洪軍;李佳晨;張陽子;;針對多線程架構(gòu)的決策樹查詢算法優(yōu)化及應(yīng)用[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

8 梁志威;;用Java語言實現(xiàn)藍(lán)牙聊天平臺[A];促進(jìn)企業(yè)信息化進(jìn)程——第九屆中國Java技術(shù)及應(yīng)用交流大會文集[C];2006年

9 霍利鋒;白鳳娥;;基于多線程的移動短信平臺設(shè)計[A];AECC專題學(xué)術(shù)研討會論文集[C];2007年

10 袁小龍;劉增才;李曉霞;郭力;;基于XML的半結(jié)構(gòu)化化學(xué)信息提取系統(tǒng)的重構(gòu)與優(yōu)化[A];第九屆全國計算（機(jī)）化學(xué)學(xué)術(shù)會議論文摘要集[C];2007年

相關(guān)重要報紙文章 前10條

1 ;為何不能進(jìn)行多線程下載文件？[N];電腦報;2001年

2 郭長佑;多核與多線程——差別到底在哪里？[N];電子資訊時報;2006年

3 ;網(wǎng)絡(luò)業(yè)未來12件大事(下)[N];網(wǎng)絡(luò)世界;2007年

4 nfy;IE6也能實現(xiàn)多線程下載[N];電腦報;2002年

5 武漢 Tianyi;創(chuàng)建簡單的多線程程序[N];電腦報;2001年

6 CPW記者 凡妮;Sun年末奉碩果 預(yù)示復(fù)蘇在即[N];電腦商報;2005年

7 張志剛;多線程走進(jìn)網(wǎng)絡(luò)[N];中國計算機(jī)報;2006年

8 凡妮;Sun 2009財年二季度財報總體好于預(yù)期[N];電腦商報;2009年

9 趙長林邋姜建華;Sun:“芯”如潮涌[N];中國計算機(jī)報;2007年

10 計算機(jī)世界實驗室 吳挺;英特爾的8倍“核動力”[N];計算機(jī)世界;2007年

相關(guān)博士學(xué)位論文 前4條

1 逄龍;多線程程序中關(guān)聯(lián)變量原子性驗證關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 趙榮彩;多線程低功耗編譯優(yōu)化技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2002年

3 楊華;片上多線程體系結(jié)構(gòu)資源分配策略的研究[D];哈爾濱工業(yè)大學(xué);2006年

4 徐海峰;多線程的內(nèi)存調(diào)度[D];浙江大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 張傳勇;基于hadoop影視碎片云存儲的設(shè)計與實現(xiàn)[D];山東大學(xué);2015年

2 張龍;聊天系統(tǒng)的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

3 劉麗;嵌入式WM8960音頻驅(qū)動及多線程播放器的設(shè)計[D];哈爾濱工業(yè)大學(xué);2015年

4 劉書健;基于協(xié)程的高并發(fā)的分析與研究[D];昆明理工大學(xué);2016年

5 楊振;多線程程序數(shù)據(jù)競爭檢測和驗證方法研究[D];哈爾濱工業(yè)大學(xué);2016年

6 王昭淼;面向多線程程序的確定性重演研究[D];大連理工大學(xué);2016年

7 黃文豪;面向方面程序設(shè)計（AOP）在Web程序中的應(yīng)用研究[D];武漢工程大學(xué);2016年

8 馮林靜;基于多核的并行相似連接[D];天津工業(yè)大學(xué);2017年

9 陳結(jié);同構(gòu)多核環(huán)境下主從式多線程動態(tài)二進(jìn)制翻譯器[D];華中科技大學(xué);2009年

10 殷紹劍;嵌入式多線程遠(yuǎn)程調(diào)試器研究與實現(xiàn)[D];電子科技大學(xué);2013年

，

本文編號：1853741