Hadoop單機(jī)模式安裝方法深入剖析
本節(jié)和大家一起學(xué)習(xí)一下Hadoop單機(jī)模式安裝方法,Hadoop單機(jī)模式安裝主要有九個(gè)步驟,相信通過(guò)本節(jié)的介紹大家對(duì)Hadoop的安裝方法有進(jìn)一步的了解,讓我們一起來(lái)學(xué)習(xí)Hadoop單機(jī)模式吧。
Hadoop單機(jī)模式安裝
實(shí)驗(yàn)平臺(tái):Ubuntu9.04,Hadoop0.20,JDK1.6
step1.ssh的安裝設(shè)置
由于Hadoop用ssh通信,因此先進(jìn)行免密碼登錄設(shè)定,
$apt-getinstallssh
$ssh-keygen-trsa-P''-f~/.ssh/id_rsa
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$sshlocalhost
完成后請(qǐng)登入確認(rèn)不用輸入密碼,(第一次登入需按enter鍵,第二次就可以直接登入到系統(tǒng)。
~$sshlocalhost
~$exit
~$sshlocalhost
~$exit
step2.安裝java
由于SunJavaRuntime是執(zhí)行Hadoop必備的工具,因此我們需要安裝JRE或JDK。這里我們直接安裝JDK,因?yàn)楹竺鎸懗绦蛉耘f需要用到JDK所提供的編譯程序。目前Ubuntu9.04提供的JDK套件最新版本為SunJava(TM)DevelopmentKit(JDK)6,套件名稱為sun-java6-jdk。并建議刪除原本的「gcj」。
~$sudoapt-getpurgejava-gcj-compat
~$sudoapt-getinstallsun-java6-binsun-java6-jdksun-java6-jre
step3.下載安裝Hadoop
?Hadoop單機(jī)模式時(shí)請(qǐng)至下載Hadoop0.20,并解開壓縮文件到/opt路徑。
?$tarzxvfhadoop-0.20.0.tar.gz
?$sudomvhadoop-0.20.0/opt/
?$sudochown-Rhadoop:hadoop/opt/hadoop-0.20.0
?$sudoln-sf/opt/hadoop-0.20.0/opt/hadoop
step4.設(shè)定hadoop-env.sh
?進(jìn)入hadoop目錄,做進(jìn)一步的設(shè)定。我們需要修改兩個(gè)檔案,第一個(gè)是hadoop-env.sh,需要設(shè)定JAVA_HOME,HADOOP_HOME,PATH三個(gè)環(huán)境變量。
/opt$cdhadoop/
/opt/hadoop$cat>>conf/hadoop-env.sh<<EOF
貼上以下信息
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportHADOOP_HOME=/opt/hadoop
exportPATH=$PATH:/opt/hadoop/bin
EOF
step5.設(shè)定hadoop配置文件
- ?編輯/opt/hadoop/conf/core-site.xml
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/tmp/hadoop/hadoop-${user.name}</value>
- </property>
- </configuration>
- ?編輯/opt/hadoop/conf/hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
- ?編輯/opt/hadoop/conf/mapred-site.xml
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
step6.格式化HDFS
?Hadoop單機(jī)模式安裝過(guò)程中需要格式化HDFS。以上我們已經(jīng)設(shè)定好Hadoop單機(jī)測(cè)試的環(huán)境,接著讓我們來(lái)啟動(dòng)Hadoop相關(guān)服務(wù),格式化namenode,secondarynamenode,tasktracker
?$cd/opt/hadoop
?$source/opt/hadoop/conf/hadoop-env.sh
?$hadoopnamenode-format
step7.啟動(dòng)Hadoop
?接著用start-all.sh來(lái)啟動(dòng)所有服務(wù),包含namenode,datanode,
/opt/hadoop$bin/start-all.sh
執(zhí)行畫面如:
startingnamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out
localhost:startingdatanode,loggingto/opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out
localhost:startingsecondarynamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out
startingjobtracker,loggingto/opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out
step8.安裝完畢測(cè)試
?啟動(dòng)之后,可以檢查以下網(wǎng)址,來(lái)觀看服務(wù)是否正常。Hadoop管理接口HadoopTaskTracker狀態(tài)HadoopDFS狀態(tài)
?http://localhost:50030/-Hadoop管理接口
注:已安裝測(cè)試成功,參考修改于http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab1,感謝NCHC。本節(jié)關(guān)于Hadoop單機(jī)模式安裝介紹到這里。
【編輯推薦】