本文關(guān)鍵詞：海量圖片存儲，由筆耕文化傳播整理發(fā)布。

海量圖片存儲策略

標(biāo)簽：

本文章已收錄于：

分類：

版權(quán)聲明：本文為博主原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載。

一、常規(guī)圖片存儲策略

常規(guī)的一般400G以下的圖片存儲可以采用比較傳統(tǒng)的分目錄的形式

例如目錄層級為  年份/行業(yè)屬性/月份/日期/用戶屬性

有幾個比較重要的原則就是

1、單個目錄下的文件個數(shù)不要超過2000個，多了尋址較慢，你在linux下ls就能看到數(shù)量太多的時候的效果了

2、目錄層級結(jié)構(gòu)不要太深，這樣服務(wù)器處理尋址較慢

二、海量圖片存儲策略

1、核心難點

（1）海量的意思就是圖片的數(shù)量級別是上億--光是我們建立索引就玩不轉(zhuǎn)，沒那么牛的庫存儲

（2）圖片總大小是按照T計算的--單個節(jié)點肯定支持不了

（3）圖片訪問很容易有長尾效應(yīng)--就是沒有所謂的熱點

2、解決方案

（1）、存儲方案

采用分布式隨即的方式將一些小文件存放到分布式集群環(huán)境中，用hash的方式來記錄位置（一般是先hash，，然后確認(rèn)存儲位置）。將位置直接作為文件名稱

 計算哈希的常見方法： hash(key)%n  =》大致的物理位置

分布式存儲常見方案：hdfs,tfs....

（2）、訪問方案（假設(shè)我們用apache）

硬訪問

直接讓apache根據(jù)文件名字找到指定文件存放位置，讀取文件流

軟訪問：

直接用apache的rewrite這個功能，將文件讀取

頂 0 踩 0

我的同類文章

  本文關(guān)鍵詞：海量圖片存儲，由筆耕文化傳播整理發(fā)布。