Hadoop的单机部署

 

要说最近最热的云计算,不得不提Hadoop。这个项目就是为集群运算而生的。依赖于它的项目n多,个人感觉hadoop已经逐渐成为一个“基于Java的分布式运算中间件”。

这里安装的hadoop为ver 0.21.0版本,包含了HDFS分布式文件系统。平台为老一套的Ubuntu 1104 server for amd64。

既然是Java Base的,首先要准备jdk环境。默认1104已经把java从apt中剔除了——跟oracle收购sun不无关系,尽管openjdk还在,我还是建议安装sun-jdk。具体实现如下:


echo “deb http://archive.canonical.com/ natty partner” >> /etc/apt/sources.list #添加源
apt-get update
apt-get install sun-java-jdk

文件多而大,耐心等待。

基础环境

默认apt方式安装的jdk目录为/usr/lib/jvm/java-6-sun ,等待jdk完成之后,

echo "/usr/lib/jvm/java-6-sun"  > /etc/jvm

官方建议关闭ipv6,尽管我不清楚有什么影响

echo "blacklist ipv6" >> /etc/modprobe.d/blacklist

建立用户/组,没什么要解释的

addgroup hadoop
adduser --ingroup hadoop hadoop

修改环境变量,vi /etc/bash.bashrc,在末尾添加:

export JAVA_HOME=/usr/lib/jvm/java-6-sun
export JDK_HOME=$JAVA_HOME
export PATH=$PATH:$JAVA_HOME/bin

切换用户到hadoop, su – hadoop

调通ssh,具体参见这里之前的东西。

mkdir .ssh
cd .ssh
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
ssh localhost

配置Hadoop

我默认已经使用hadoop用户进行操作,root权限可以不用了。

将下载后的hadoop保存在适当的目录下,我选择了/opt/hadoop目录。

修改/opt/hadoop/conf/hadoop-env.sh文件中,添加 export JAVA_HOME=/usr/lib/jvm/java-6-sun

cd /opt/hadoop/conf 一堆的配置文件要改。

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name><!--文件系统名称-->
        <!--<value>hdfs://localhost:9000</value>单机,不使用集群文件系统 --><value>/date/hadoop</value>
     </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

需要注意的是,不同的版本号之间,配置方式有细微的不同。

配置OK!

推荐阅读:
自从Centos7/Redha
之前我们通过几个概念简单的介绍
自打从硬件方向研究性能优化起,
事出一个朋友问题:通过Dock

发表评论

电子邮件地址不会被公开。 必填项已用*标注

请补全下列算式: *

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据