hadoop1.1.2安裝 (2)

上一篇文章中, 介紹完hadoop 1.1.2的環境建立後,
在這一篇文章中, 將介紹hadoop 1.1.2的參數設定,

在hadoop資料夾中, 所有設定檔都在hadoop/conf/,
首先, 我們先設定hbase-env.sh:

# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib/jvm/java-6-oracle/

# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=1000

# Where log files are stored.  $HADOOP_HOME/logs by default.
export HADOOP_LOG_DIR=/opt/logs/hadoop

# The directory where pid files are stored. /tmp by default.
export HADOOP_PID_DIR=/opt/pids/hadoop

在上述設定中, 一開始, 先設定 java 的路徑(安裝的路徑, 上面是預設路徑),
第二項則是 java 程式使用的 heap (記憶體大小),
第三項則是 LOG 的位置, 第四項則是 PID (Process ID) 的存放位置,
盡量設在 hadoop 資料夾以外的地方 (放在/opt/data/hadoop),

接著, 設定 core-site.xml:

<configuration>
    <property>
        <name>fs.default.name</name>
  <value>hdfs://master.hbase.mbwcl.nctu.edu.tw:9000</value>
    </property>
</configuration>


在 hadoop 中, 所有的設定都是以 xml 的格式,
儲存至檔案中, 在 core-site.xml 設定中, 設定 hdfs 的通訊埠 (9000),
hostname 則是 master 的位置,

接著, 設定 hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/opt/data/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/opt/data/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>master.hbase.mbwcl.nctu.edu.tw:50070</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>master.hbase.mbwcl.nctu.edu.tw:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
      <value>3</value>
    </property>
</configuration>

在 hdfs-site.xml 中, 我們設定 HDFS 的通訊埠 (50070和50090),
以及 HDFS 中的暫存儲存位置 (dfs.data.dir), 
以及 namenode 名稱的位置 (dfs.name.dir), 此數值每次 namenode -format 都會初始,
因此, 也必須要一併刪除此資料路徑,
在 dfs.replication 則是設定每個 HDFS 文件要備份的次數, 這裡設定為3,

接著, 設定 mapred-site.xml:

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master.hbase.mbwcl.nctu.edu.tw:9001</value>
    </property>
    <property>  
        <name>mapred.tasktracker.map.tasks.maximum</name>
        <value>2</value>
        <final>true</final>
    </property>
    <property>  
        <name>mapred.tasktracker.reduce.tasks.maximum</name>   
        <value>1</value>   
        <final>true</final>
     </property>
</configuration>


在 mapred-site.xml 中, 我們設定 map reduce 的通訊埠(9001),
並且設定每個 tasktracker 上的工作負擔(兩個mapper, 一個reducer),
之後,設定 masters (secondary master) 以及 slaves 的位址:

user@master:/opt/hadoop$ cat conf/masters
master.hbase.mbwcl.nctu.edu.tw
user@master:/opt/hadoop$ cat conf/slaves
master.hbase.mbwcl.nctu.edu.tw
slave01.hbase.mbwcl.nctu.edu.tw
slave02.hbase.mbwcl.nctu.edu.tw

完成上述設定後, 我們就可以啟動 hadoop,
我們在 master 上先對 namenode 格式化,
利用 SSH 的方式, 呼叫節點上的所有 hadoop 程序,
開啟 hadoop 的服務:

$ bin/hadoop namenode -format
$ bin/start-all.sh

如果成功, 在 master 上用 jps 應該可以看到以下程序:

2931 NameNode
3337 SecondaryNameNode
3128 DataNode
3433 JobTracker
18041 Jps
3625 TaskTracker

最後, 我們可以用 hadoop 內建的指令查看狀態,
確定 hadoop 上資料儲存的狀態:

$ bin/hadoop dfsadmin -report
Configured Capacity: 27588785664 (25.69 GB)
Present Capacity: 20806144000 (19.38 GB)
DFS Remaining: 20805627904 (19.38 GB)
DFS Used: 516096 (504 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)

Name: 192.168.2.61:50010
Decommission Status : Normal
Configured Capacity: 9196261888 (8.56 GB)
DFS Used: 172032 (168 KB)
Non DFS Used: 2236576256 (2.08 GB)
DFS Remaining: 6959513600(6.48 GB)
DFS Used%: 0%
DFS Remaining%: 75.68%
Last contact: Sun Mar 08 05:37:56 UTC 2015


Name: 192.168.2.60:50010
Decommission Status : Normal
Configured Capacity: 9196261888 (8.56 GB)
DFS Used: 172032 (168 KB)
Non DFS Used: 2236346880 (2.08 GB)
DFS Remaining: 6959742976(6.48 GB)
DFS Used%: 0%
DFS Remaining%: 75.68%
Last contact: Sun Mar 08 05:37:55 UTC 2015


Name: 192.168.2.59:50010
Decommission Status : Normal
Configured Capacity: 9196261888 (8.56 GB)
DFS Used: 172032 (168 KB)
Non DFS Used: 2309718528 (2.15 GB)
DFS Remaining: 6886371328(6.41 GB)
DFS Used%: 0%
DFS Remaining%: 74.88%
Last contact: Sun Mar 08 05:37:54 UTC 2015

留言

熱門文章

LTE筆記: RSRP, RSSI and RSRQ

[WiFi] WiFi 網路的識別: BSS, ESS, SSID, ESSID, BSSID

LTE筆記: 波束成型 (beamforming) 和天線陣列