本文關(guān)鍵詞：Hadoop實(shí)戰(zhàn)，由筆耕文化傳播整理發(fā)布。

有人書這本書是Hadoop實(shí)戰(zhàn)這本書是進(jìn)行Hadoop學(xué)習(xí)的不二之選，，讓讀者可以從一個(gè)初學(xué)者逐步深入；但也有人覺得Hadoop實(shí)戰(zhàn)這本書雖然講了很多Hadoop的框架，但是都講得不夠透徹，有的地方還有一些錯(cuò)誤；有人說這本書也適合有一定基礎(chǔ)的用戶加深進(jìn)步了解；但也有人覺這本書很“臃腫”，對于有Hadoop基礎(chǔ)的人來說，看看Hadoop權(quán)威指南或許會更好……仁者見仁智者見智，小編要說的是本節(jié)內(nèi)容東坡小編為大家整理帶來的是一份pdf格式清晰完整電子版中文第二版Hadoop實(shí)戰(zhàn)，需要查閱這本書的朋友點(diǎn)擊本文相應(yīng)的下載地址進(jìn)行下載即可查閱！

前言

第1章　Hadoop簡介/1

1.1　什么是Hadoop/2

1.1.1　Hadoop概述/2

1.1.2　Hadoop的歷史/2

1.1.3　Hadoop的功能與作用/2

1.1.4　Hadoop的優(yōu)勢/3

1.1.5　Hadoop應(yīng)用現(xiàn)狀和發(fā)展趨勢/3

1.2　Hadoop項(xiàng)目及其結(jié)構(gòu)/3

1.3　Hadoop體系結(jié)構(gòu)/6

1.4　Hadoop與分布式開發(fā)/7

1.5　Hadoop計(jì)算模型—MapReduce/10

1.6　Hadoop數(shù)據(jù)管理/10

1.6.1　HDFS的數(shù)據(jù)管理/10

1.6.2　HBase的數(shù)據(jù)管理/12

1.6.3　Hive的數(shù)據(jù)管理/13

1.7　Hadoop集群安全策略/15

1.8　本章小結(jié)/17

第2章　Hadoop的安裝與配置/19

2.1　在Linux上安裝與配置Hadoop/20

2.1.1　安裝JDK 1.6/20

2.1.2　配置SSH免密碼登錄/21

2.1.3　安裝并運(yùn)行Hadoop/22

2.2　在Mac OSX上安裝與配置Hadoop/24

2.2.1　安裝Homebrew/24

2.2.2　使用Homebrew安裝Hadoop/25

2.2.3　配置SSH和使用Hadoop/25

2.3　在Windows上安裝與配置Hadoop/25

2.3.1　安裝JDK 1.6或更高版本/25

2.3.2　安裝Cygwin/25

2.3.3　配置環(huán)境變量/26

2.3.4　安裝sshd服務(wù)/26

2.3.5　啟動sshd服務(wù)/26

2.3.6　配置SSH免密碼登錄/26

2.3.7　安裝并運(yùn)行Hadoop/26

2.4　安裝和配置Hadoop集群/27

2.4.1　網(wǎng)絡(luò)拓?fù)?27

2.4.2　定義集群拓?fù)?27

2.4.3　建立和安裝Cluster /28

2.5　日志分析及幾個(gè)小技巧/34

2.6　本章小結(jié)/35

第3章　MapReduce計(jì)算模型/36

3.1　為什么要用MapReduce/37

3.2　MapReduce計(jì)算模型/38

3.2.1　MapReduce Job/38

3.2.2　Hadoop中的Hello World程序/38

3.2.3　MapReduce的數(shù)據(jù)流和控制流/46

3.3　MapReduce任務(wù)的優(yōu)化/47

3.4　Hadoop流/49

3.4.1　Hadoop流的工作原理/50

3.4.2　Hadoop流的命令/51

3.4.3　兩個(gè)例子/52

3.5　Hadoop Pipes/54

3.6　本章小結(jié)/56

第4章　開發(fā)MapReduce應(yīng)用程序/57

4.1　系統(tǒng)參數(shù)的配置/58

4.2　配置開發(fā)環(huán)境/60

4.3　編寫MapReduce程序/60

4.3.1　Map處理/60

4.3.2　Reduce處理/61

4.4　本地測試/62

4.5　運(yùn)行MapReduce程序/62

4.5.1　打包/64

4.5.2　在本地模式下運(yùn)行/64

4.5.3　在集群上運(yùn)行/64

4.6　網(wǎng)絡(luò)用戶界面/65

4.6.1　JobTracker頁面/65

4.6.2　工作頁面/65

4.6.3　返回結(jié)果/66

4.6.4　任務(wù)頁面/67

4.6.5　任務(wù)細(xì)節(jié)頁面/67

4.7　性能調(diào)優(yōu)/68

4.7.1　輸入采用大文件/68

4.7.2　壓縮文件/68

4.7.3　過濾數(shù)據(jù)/69

4.7.4　修改作業(yè)屬性/71

4.8　MapReduce工作流/72

4.8.1　復(fù)雜的Map和Reduce函數(shù)/72

4.8.2　MapReduce Job中全局共享數(shù)據(jù)/74

4.8.3　鏈接MapReduce Job/75

4.9　本章小結(jié)/77

第5章　MapReduce應(yīng)用案例/79

5.1　單詞計(jì)數(shù)/80

5.1.1　實(shí)例描述/80

5.1.2　設(shè)計(jì)思路/80

5.1.3　程序代碼/81

5.1.4　代碼解讀/82

5.1.5　程序執(zhí)行/83

5.1.6　代碼結(jié)果/83

5.1.7　代碼數(shù)據(jù)流/84

5.2　數(shù)據(jù)去重/85

5.2.1　實(shí)例描述/85

5.2.2　設(shè)計(jì)思路/86

5.2.3　程序代碼/86

5.3　排序/87

5.3.1　實(shí)例描述/87

5.3.2　設(shè)計(jì)思路/88

5.3.3　程序代碼/89

5.4　單表關(guān)聯(lián)/91

5.4.1　實(shí)例描述/91

5.4.2　設(shè)計(jì)思路/92

5.4.3　程序代碼/92

5.5　多表關(guān)聯(lián)/95

5.5.1　實(shí)例描述/95

5.5.2　設(shè)計(jì)思路/96

5.5.3　程序代碼/96

5.6　本章小結(jié)/98

第6章　MapReduce工作機(jī)制/99

6.1　MapReduce作業(yè)的執(zhí)行流程/100

6.1.1　MapReduce任務(wù)執(zhí)行總流程/100

6.1.2　提交作業(yè)/101

6.1.3　初始化作業(yè)/103

6.1.4　分配任務(wù)/104

6.1.5　執(zhí)行任務(wù)/106

6.1.6　更新任務(wù)執(zhí)行進(jìn)度和狀態(tài)/107

6.1.7　完成作業(yè)/108

6.2　錯(cuò)誤處理機(jī)制 /108

6.2.1　硬件故障/109

6.2.2　任務(wù)失敗/109

6.3　作業(yè)調(diào)度機(jī)制/110

6.4　Shuffle和排序/111

6.4.1　Map端/111

6.4.2　Reduce端/113

6.4.3　shuffle過程的優(yōu)化/114

6.5　任務(wù)執(zhí)行/114

6.5.1　推測式執(zhí)行/114

6.5.2　任務(wù)JVM重用/115

6.5.3　跳過壞記錄/115

6.5.4　任務(wù)執(zhí)行環(huán)境/116

6.6　本章小結(jié)/117

第7章　Hadoop I/O操作/118

7.1　I/O操作中的數(shù)據(jù)檢查/119

7.2　數(shù)據(jù)的壓縮 /126

7.2.1　Hadoop對壓縮工具的選擇/126

7.2.2　壓縮分割和輸入分割/127

7.2.3　在MapReduce程序中使用壓縮/127

7.3　數(shù)據(jù)的I/O中序列化操作/128

7.3.1　Writable類/128

7.3.2　實(shí)現(xiàn)自己的Hadoop數(shù)據(jù)類型/137

7.4　針對Mapreduce的文件類/139

7.4.1　SequenceFile類/139

7.4.2　MapFile類/144

7.4.3　ArrayFile、SetFile和BloomMapFile/146

7.5　本章小結(jié)/148

第8章　下一代MapReduce：YARN/149

8.1　MapReduce V2設(shè)計(jì)需求/150

8.2　MapReduce V2主要思想和架構(gòu)/151

8.3　MapReduce V2設(shè)計(jì)細(xì)節(jié)/153

8.4　MapReduce V2優(yōu)勢/156

8.5　本章小結(jié)/156

第9章　HDFS詳解/157

9.1　Hadoop的文件系統(tǒng)/158

9.2　HDFS簡介/160

9.3　HDFS體系結(jié)構(gòu)/161

9.3.1　HDFS的相關(guān)概念/161

9.3.2　HDFS的體系結(jié)構(gòu)/162

9.4　HDFS的基本操作/164

9.4.1　HDFS的命令行操作/164

9.4.2　HDFS的Web界面/165

9.5　HDFS常用Java API詳解/166

9.5.1　使用Hadoop URL讀取數(shù)據(jù)/166

9.5.2　使用FileSystem API讀取數(shù)據(jù)/167

9.5.3　創(chuàng)建目錄/169

9.5.4　寫數(shù)據(jù)/169

9.5.5　刪除數(shù)據(jù)/171

9.5.6　文件系統(tǒng)查詢/171

9.6　HDFS中的讀寫數(shù)據(jù)流/175

9.6.1　文件的讀取/175

9.6.2　文件的寫入/176

9.6.3　一致性模型/178

9.7　HDFS命令詳解/179

9.7.1　通過distcp進(jìn)行并行復(fù)制/179

9.7.2　HDFS的平衡/180

9.7.3　使用Hadoop歸檔文件/180

9.7.4　其他命令/183

9.8　WebHDFS/186

9.8.1　WebHDFS的配置/186

9.8.2　WebHDFS命令/186

9.9　本章小結(jié)/190

第10章　Hadoop的管理/191

10.1　HDFS文件結(jié)構(gòu)/192

10.2　Hadoop的狀態(tài)監(jiān)視和管理工具/196

10.2.1　審計(jì)日志/196

10.2.2　監(jiān)控日志/196

10.2.3　Metrics/197

10.2.4　Java管理擴(kuò)展 /199

10.2.5　Ganglia/200

10.2.6　Hadoop管理命令/202

10.3　Hadoop集群的維護(hù)/206

10.3.1　安全模式/206

10.3.2　Hadoop的備份/207

10.3.3　Hadoop的節(jié)點(diǎn)管理/208

10.3.4　系統(tǒng)升級/210

10.4　本章小結(jié)/212

第11章　Hive詳解/213

11.1　Hive簡介/214

11.1.1　Hive的數(shù)據(jù)存儲/214

11.1.2　Hive的元數(shù)據(jù)存儲/216

11.2　Hive的基本操作/216

11.2.1　在集群上安裝Hive/216

11.2.2　配置MySQL存儲Hive元數(shù)據(jù)/218

11.2.3　配置Hive/220

11.3　Hive QL詳解/221

11.3.1　數(shù)據(jù)定義（DDL）操作/221

11.3.2　數(shù)據(jù)操作（DML）/231

11.3.3　SQL操作/233

11.3.4　Hive QL使用實(shí)例/235

11.4　Hive網(wǎng)絡(luò)（Web UI）接口/237

11.4.1　Hive網(wǎng)絡(luò)接口配置/237

11.4.2　Hive網(wǎng)絡(luò)接口操作實(shí)例/238

11.5　Hive的JDBC接口//241

11.5.1　eclipse環(huán)境配置/241

11.5.2　程序?qū)嵗?241

11.6　Hive的優(yōu)化/244

11.7　本章小結(jié)/246

第12章　HBase詳解/247

12.1　HBase簡介/248

12.2　HBase的基本操作/249

12.2.1　HBase的安裝/249

12.2.2　運(yùn)行HBase /253

12.2.3　HBase Shell/255

12.2.4　HBase配置/258

12.3　HBase體系結(jié)構(gòu)/260

12.3.1　HRegion/260

12.3.2　HRegion服務(wù)器/261

12.3.3　HBase Master服務(wù)器/262

12.3.4　ROOT表和META表/262

12.3.5　ZooKeeper/263

12.4　HBase數(shù)據(jù)模型/263

12.4.1　數(shù)據(jù)模型/263

12.4.2　概念視圖/264

12.4.3　物理視圖/264

12.5　HBase與RDBMS/265

12.6　HBase與HDFS/266

12.7　HBase客戶端/266

12.8　Java API /267

12.9　HBase編程 /273

12.9.1　使用Eclipse開發(fā)HBase應(yīng)用程序/273

12.9.2　HBase編程/275

12.9.3　HBase與MapReduce/278

12.10　模式設(shè)計(jì)/280

12.10.1　模式設(shè)計(jì)應(yīng)遵循的原則/280

12.10.2　學(xué)生表/281

12.10.3　事件表/282

12.11　本章小結(jié)/283

第13章　Mahout詳解/284

13.1　Mahout簡介/285

13.2　Mahout的安裝和配置/285

13.3　Mahout API簡介/288

13.4　Mahout中的頻繁模式挖掘/290

13.4.1　什么是頻繁模式挖掘/290

13.4.2　Mahout中的頻繁模式挖掘/290

13.5　Mahout中的聚類和分類/292

13.5.1　什么是聚類和分類/292

13.5.2　Mahout中的數(shù)據(jù)表示/293

13.5.3　將文本轉(zhuǎn)化成向量/294

13.5.4　Mahout中的聚類、分類算法/295

13.5.5　算法應(yīng)用實(shí)例/299

13.6　Mahout應(yīng)用：建立一個(gè)推薦引擎/304

13.6.1　推薦引擎簡介/304

13.6.2　使用Taste構(gòu)建一個(gè)簡單的推薦引擎/305

13.6.3　簡單分布式系統(tǒng)下基于產(chǎn)品的推薦系統(tǒng)簡介/307

13.7　本章小結(jié)/309

第14章　Pig詳解/310

14.1　Pig簡介/311

14.2　Pig的安裝和配置 /311

14.2.1　Pig的安裝條件/311

14.2.2　Pig的下載、安裝和配置/312

14.2.3　Pig運(yùn)行模式/313

14.3　Pig Latin語言/315

14.3.1　Pig Latin語言簡介/315

14.3.2　Pig Latin的使用/316

14.3.3　Pig Latin的數(shù)據(jù)類型/318

14.3.4　Pig Latin關(guān)鍵字/319

14.4　用戶定義函數(shù) /323

14.4.1　編寫用戶定義函數(shù)/324

14.4.2　使用用戶定義函數(shù)/325

14.5　Zebra簡介 /326

14.5.1　Zebra的安裝/326

14.5.2　Zebra的使用簡介/327

14.6　Pig實(shí)例 /328

14.6.1　Local模式/328

14.6.2　MapReduce模式/330

14.7　Pig進(jìn)階/331

14.7.1　數(shù)據(jù)實(shí)例/331

14.7.2　Pig數(shù)據(jù)分析/332

14.8　本章小結(jié)/336

第15章　ZooKeeper詳解/337

15.1　ZooKeeper簡介/338

15.1.1　ZooKeeper的設(shè)計(jì)目標(biāo)/338

15.1.2　數(shù)據(jù)模型和層次命名空間/339

15.1.3　ZooKeeper中的節(jié)點(diǎn)和臨時(shí)節(jié)點(diǎn)/339

15.1.4　ZooKeeper的應(yīng)用/340

15.2　ZooKeeper的安裝和配置/340

15.2.1　安裝ZooKeeper /340

15.2.2　配置ZooKeeper/346

15.2.3　運(yùn)行ZooKeeper/348

15.3　ZooKeeper的簡單操作/350

15.3.1　使用ZooKeeper命令的簡單操作步驟/350

15.3.2　ZooKeeper API的簡單使用/352

15.4　ZooKeeper的特性/355

15.4.1　ZooKeeper的數(shù)據(jù)模型/355

15.4.2　ZooKeeper會話及狀態(tài)/356

15.4.3　ZooKeeper watches/357

15.4.4　ZooKeeper ACL/358

15.4.5　ZooKeeper的一致性保證/359

15.5　使用ZooKeeper進(jìn)行Leader選舉/359

15.6　ZooKeeper鎖服務(wù)/360

15.6.1　ZooKeeper中的鎖機(jī)制/360

15.6.2　ZooKeeper提供的一個(gè)寫鎖的實(shí)現(xiàn)/361

15.7　使用ZooKeeper創(chuàng)建應(yīng)用程序 /363

15.7.1　使用Eclipse開發(fā)ZooKeeper應(yīng)用程序/363

15.7.2　應(yīng)用程序?qū)嵗?365

15.8　BooKeeper/369

15.9　本章小結(jié)/371

第16章　Avro詳解/372

16.1　Avro介紹/373

16.1.1　模式聲明/374

16.1.2　數(shù)據(jù)序列化/378

16.1.3　數(shù)據(jù)排列順序/380

16.1.4　對象容器文件 /381

16.1.5　協(xié)議聲明/382

16.1.6　協(xié)議傳輸格式/383

16.1.7　模式解析/386

16.2　Avro的C/C++實(shí)現(xiàn)/387

16.3　Avro的Java實(shí)現(xiàn)/398

16.4　GenAvro（Avro IDL）語言/402

16.5　Avro SASL概述/406

16.6　本章小結(jié)/407

第17章　Chukwa詳解/409

17.1　Chukwa簡介/410

17.2　Chukwa架構(gòu)/411

17.2.1　客戶端及其數(shù)據(jù)模型/412

17.2.2　收集器/413

17.2.3　歸檔器和分離解析器/414

17.2.4　HICC/415

17.3　Chukwa的可靠性/415

17.4　Chukwa集群搭建/416

17.4.1　基本配置要求/416

17.4.2　Chukwa的安裝/416

17.4.3　Chukwa的運(yùn)行/419

17.5　Chukwa數(shù)據(jù)流的處理/424

17.6　Chukwa與其他監(jiān)控系統(tǒng)比較/425

17.7　本章小結(jié)/426

本章參考資料/426

第18章　Hadoop的常用插件與開發(fā)/428

18.1　Hadoop Studio的介紹和使用/429

18.1.1　Hadoop Studio的介紹/429

18.1.2　Hadoop Studio的安裝配置/430

18.1.3　Hadoop Studio的使用舉例/430

18.2　Hadoop Eclipse的介紹和使用/436

18.2.1　Hadoop Eclipse的介紹/436

18.2.2　Hadoop Eclipse的安裝配置/437

18.2.3　Hadoop Eclipse的使用舉例/438

18.3　Hadoop Streaming的介紹和使用/440

18.3.1　Hadoop Streaming的介紹/440

18.3.2　Hadoop Streaming的使用舉例/444

18.3.3　使用Hadoop Streaming常見的問題/446

18.4　Hadoop Libhdfs的介紹和使用/448

18.4.1　Hadoop Libhdfs的介紹/448

18.4.2　Hadoop Libhdfs的安裝配置/448

18.4.3　Hadoop Libhdfs API簡介/448

18.4.4　Hadoop Libhdfs的使用舉例/449

18.5　本章小結(jié)/450

第19章　企業(yè)應(yīng)用實(shí)例/452

19.1　Hadoop在Yahoo!的應(yīng)用/453

19.2　Hadoop在eBay的應(yīng)用/455

19.3　Hadoop在百度的應(yīng)用/457

19.4　即刻搜索中的Hadoop/460

19.4.1　即刻搜索簡介/460

19.4.2　即刻Hadoop應(yīng)用架構(gòu)/460

19.4.3　即刻Hadoop應(yīng)用分析/463

19.5　Facebook中的Hadoop和HBase/463

19.5.1　Facebook中的任務(wù)特點(diǎn)/464

19.5.2　MySQL VS Hadoop+HBase/466

19.5.3　Hadoop和HBase的實(shí)現(xiàn)/467

19.6　本章小結(jié)/472

本章參考資料/472

附錄A　云計(jì)算在線檢測平臺/474

附錄B　Hadoop安裝、運(yùn)行與使用說明/484

附錄C　使用DistributedCache的MapReduce程序/491

附錄D　使用ChainMapper和ChainReducer的MapReduce程序/495

hadoop實(shí)戰(zhàn)第2版是一本系統(tǒng)且極具實(shí)踐指導(dǎo)意義的Hadoop工具書和參考書，作者陸嘉恒，已經(jīng)掃描為pdf高清版電子圖書，附帶的福昕pdf閱讀器可以完美打開瀏覽閱讀。由于第1版廣受好評，第2版基于hadoop及其相關(guān)技術(shù)最新版本撰寫，從多角度做了全面的修訂和補(bǔ)充。Hadoop實(shí)戰(zhàn)第2版不僅詳細(xì)講解了新一代的hadoop技術(shù)，而且全面介紹了hive、hbase、mahout、pig、zookeeper、avro、chukwa等重要技術(shù)，是系統(tǒng)學(xué)習(xí)hadoop技術(shù)的首選之作。

  本文關(guān)鍵詞：Hadoop實(shí)戰(zhàn)，由筆耕文化傳播整理發(fā)布。