訂閱
糾錯(cuò)
加入自媒體

初識(shí)MapReduce的應(yīng)用場(chǎng)景(附JAVA和Python代碼)

從這篇文章開始,我會(huì)開始系統(tǒng)性地輸出在大數(shù)據(jù)踩坑過(guò)程中的積累,后面會(huì)涉及到實(shí)戰(zhàn)項(xiàng)目的具體操作,目前的規(guī)劃是按照系列來(lái)更新,力爭(zhēng)做到一個(gè)系列在5篇文章之內(nèi)總結(jié)出最核心的干貨,如果是涉及到理論方面的文章,會(huì)以畫圖的方式來(lái)講解,如果是涉及到操作方面,會(huì)以實(shí)際的代碼來(lái)演示。

這篇是MapReduce系列的第一篇,初識(shí)MapReduce的應(yīng)用場(chǎng)景,在文章后面會(huì)有關(guān)于代碼的演示。

Hadoop作為Apache旗下的一個(gè)以Java語(yǔ)言實(shí)現(xiàn)的分布式計(jì)算開源框架,其由兩個(gè)部分組成,一個(gè)是分布式的文件系統(tǒng)HDFS,另一個(gè)是批處理計(jì)算框架MapReduce。這篇文章作為MapReduce系列的第一篇文章,會(huì)從MapReduce的產(chǎn)生背景、框架的計(jì)算流程、應(yīng)用場(chǎng)景和演示Demo來(lái)講解,主要是讓大家對(duì)MapReduce的這個(gè)批計(jì)算框架有個(gè)初步的了解及簡(jiǎn)單的部署和使用。

目錄

MapReduce的產(chǎn)生背景

MapReduce的計(jì)算流程

MapReduce的框架架構(gòu)

MapReduce的生命周期

應(yīng)用場(chǎng)景

演示Demo

MapReduce的產(chǎn)生背景

Google 在2004年的時(shí)候在 MapReduce: Simplified Data Processing on Large Clusters 這篇論文中提出了MapReduce 的功能特性和設(shè)計(jì)理念,設(shè)計(jì)MapReduce 的出發(fā)點(diǎn)就是為了解決如何把大問(wèn)題分解成獨(dú)立的小問(wèn)題,再并行解決。例如,MapReduce的經(jīng)典使用場(chǎng)景之一就是對(duì)一篇長(zhǎng)文進(jìn)行詞頻統(tǒng)計(jì),統(tǒng)計(jì)過(guò)程就是先把文章分為一句一句,然后進(jìn)行分割,最后進(jìn)行詞的數(shù)量統(tǒng)計(jì)。

MapReduce的架構(gòu)圖

MapReduce的架構(gòu)圖

這里的Client和TaskTracker我都使用一個(gè)來(lái)簡(jiǎn)化了,在實(shí)際中是會(huì)有很個(gè)Client和TaskTracker的。

我們來(lái)講解下不同的組件作用

Client

Client的含義是指用戶使用MapReduce程序通過(guò)Client來(lái)提交任務(wù)到Job Tracker上,同時(shí)用戶也可以使用Client來(lái)查看一些作業(yè)的運(yùn)行狀態(tài)。

Job Tracker

這個(gè)負(fù)責(zé)的是資源監(jiān)控和作業(yè)調(diào)度。JobTracker會(huì)監(jiān)控著TaskTracker和作業(yè)的健康狀況,會(huì)把失敗的任務(wù)轉(zhuǎn)移到其他節(jié)點(diǎn)上,同時(shí)也監(jiān)控著任務(wù)的執(zhí)行進(jìn)度、資源使用量等情況,會(huì)把這些消息通知任務(wù)調(diào)度器,而調(diào)度器會(huì)在資源空閑的時(shí)候選擇合適的任務(wù)來(lái)使用這些資源。

任務(wù)調(diào)度器是一個(gè)可插拔的模塊,用戶可以根據(jù)自己的需要來(lái)設(shè)計(jì)相對(duì)應(yīng)的調(diào)度器。

TaskTracker

TaskTracker會(huì)周期性地通過(guò)Hearbeat來(lái)向Job Tracker匯報(bào)自己的資源使用情況和任務(wù)的運(yùn)行進(jìn)度。會(huì)接受來(lái)自于JobTaskcker的指令來(lái)執(zhí)行操作(例如啟動(dòng)新任務(wù)、殺死任務(wù)之類的)。

在TaskTracker中通過(guò)的是slot來(lái)進(jìn)行等量劃分一個(gè)節(jié)點(diǎn)上資源量,只用Task獲得slot的時(shí)候才有機(jī)會(huì)去運(yùn)行。調(diào)度器的作用就是進(jìn)行將空閑的slot分配給Task使用,可以配置slot的數(shù)量來(lái)進(jìn)行限定Task上的并發(fā)度。

Task

Task分為Map Task和Reduce Task,在MapReduce中的 split 就是一個(gè) Map Task,split 的大小可以設(shè)置的,由 mapred.max.spilt.size 參數(shù)來(lái)設(shè)置,默認(rèn)是 Hadoop中的block的大小,在Hadoop 2.x中默認(rèn)是128M,在Hadoop 1.x中默認(rèn)是64M。

在Task中的設(shè)置可以這么設(shè)置,一般來(lái)講,會(huì)把一個(gè)文件設(shè)置為一個(gè)split,如果是小文件,那么就會(huì)存在很多的Map Task,這是特別浪費(fèi)資源的,如果split切割的數(shù)據(jù)塊的量大,那么會(huì)導(dǎo)致跨節(jié)點(diǎn)去獲取數(shù)據(jù),這樣也是消耗很多的系統(tǒng)資源的。

MapReduce的生命周期

MapReduce的生命周期

一共分為5個(gè)步驟:

作業(yè)的提交和初始化

由用戶提交作業(yè)之前,需要先把文件上傳到HDFS上,JobClient使用upload來(lái)加載關(guān)于打包好的jar包,JobClient會(huì)RPC創(chuàng)建一個(gè)JobInProcess來(lái)進(jìn)行管理任務(wù),并且創(chuàng)建一個(gè)TaskProcess來(lái)管理控制關(guān)于每一個(gè)Task。

JobTracker調(diào)度任務(wù)

JobTracker會(huì)調(diào)度和管理任務(wù),一發(fā)現(xiàn)有空閑資源,會(huì)按照一個(gè)策略選擇一個(gè)合適的任務(wù)來(lái)使用該資源。

任務(wù)調(diào)度器有兩個(gè)點(diǎn):一個(gè)是保證作業(yè)的順利運(yùn)行,如果有失敗的任務(wù)時(shí),會(huì)轉(zhuǎn)移計(jì)算任務(wù),另一個(gè)是如果某一個(gè)Task的計(jì)算結(jié)果落后于同一個(gè)Task的計(jì)算結(jié)果時(shí),會(huì)啟動(dòng)另一個(gè)Task來(lái)做計(jì)算,最后去計(jì)算結(jié)果最塊的那個(gè)。

任務(wù)運(yùn)行環(huán)境

TaskTracker會(huì)為每一個(gè)Task來(lái)準(zhǔn)備一個(gè)獨(dú)立的JVM從而避免不同的Task在運(yùn)行過(guò)程中的一些影響,同時(shí)也使用了操作系統(tǒng)來(lái)實(shí)現(xiàn)資源隔離防止Task濫用資源。

執(zhí)行任務(wù)

每個(gè)Task的任務(wù)進(jìn)度通過(guò)RPC來(lái)匯報(bào)給TaskTracker,再由TaskTracker匯報(bào)給JobTracker。

任務(wù)結(jié)束,寫入輸出的文件到HDFS中。

MapReduce 的計(jì)算流程

先來(lái)看一張圖,系統(tǒng)地了解下 MapReduce 的運(yùn)算流程。

MapReduce的運(yùn)算流程

為了方便大家理解,重新畫了一張新的圖,演示的是關(guān)于如何進(jìn)行把一個(gè)長(zhǎng)句進(jìn)行分割,最后進(jìn)行詞頻的統(tǒng)計(jì)(已忽略掉標(biāo)點(diǎn)符號(hào))。

簡(jiǎn)單的實(shí)操例子

整個(gè)過(guò)程就是先讀取文件,接著進(jìn)行split切割,變成一個(gè)一個(gè)的詞,然后進(jìn)行 map task 任務(wù),排列出所有詞的統(tǒng)計(jì)量,接著 sorting 排序,按照字典序來(lái)排,接著就是進(jìn)行 reduce task,進(jìn)行了詞頻的匯總,最后一步就是輸出為文件。例如圖中的 spacedong 就出現(xiàn)了兩次。

其中對(duì)應(yīng)著的是 Hadoop Mapreduce 對(duì)外提供的五個(gè)可編程組件,分別是InputFormat、Mapper、Partitioner、Reduce和OutputFormat,后續(xù)的文章會(huì)詳細(xì)講解這幾個(gè)組件。

用一句話簡(jiǎn)單地總結(jié)就是,Mapreduce的運(yùn)算過(guò)程就是進(jìn)行拆解-排序-匯總,解決的就是統(tǒng)計(jì)的問(wèn)題,使用的思想就是分治的思想。

MapReduce的應(yīng)用場(chǎng)景

MapReduce 的產(chǎn)生是為了把某些大的問(wèn)題分解成小的問(wèn)題,然后解決小問(wèn)題后,大問(wèn)題也就解決了。那么一般有什么樣的場(chǎng)景會(huì)運(yùn)用到這個(gè)呢?那可多了去,簡(jiǎn)單地列舉幾個(gè)經(jīng)典的場(chǎng)景。

計(jì)算URL的訪問(wèn)頻率

搜索引擎的使用中,會(huì)遇到大量的URL的訪問(wèn),所以,可以使用 MapReduce 來(lái)進(jìn)行統(tǒng)計(jì),得出(URL,次數(shù))結(jié)果,在后續(xù)的分析中可以使用。

倒排索引

Map 函數(shù)去分析文件格式是(詞,文檔號(hào))的列表,Reduce 函數(shù)就分析這個(gè)(詞,文檔號(hào)),排序所有的文檔號(hào),輸出(詞,list(文檔號(hào))),這個(gè)就可以形成一個(gè)簡(jiǎn)單的倒排索引,是一種簡(jiǎn)單的算法跟蹤詞在文檔中的位置。

Top K 問(wèn)題

在各種的文檔分析,或者是不同的場(chǎng)景中,經(jīng)常會(huì)遇到關(guān)于 Top K 的問(wèn)題,例如輸出這篇文章的出現(xiàn)前5個(gè)最多的詞匯。這個(gè)時(shí)候也可以使用 MapReduce來(lái)進(jìn)行統(tǒng)計(jì)。

演示Demo

今天的代碼演示從Python和Java兩個(gè)版本的演示,Python版本的話便是不使用封裝的包,Java版本的話則是使用了Hadoop的封裝包。接下來(lái)便進(jìn)行演示一個(gè)MapReduce的簡(jiǎn)單使用,如何進(jìn)行詞匯統(tǒng)計(jì)。

1  2  下一頁(yè)>  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)