最近在学习hadoop。网上具体过程很多,我就说说简单过程和注意问题。
环境:宿主机(windows64),虚拟机(centos64)。
准备软件:
1、Vmware——虚拟机
2、centos镜像文件——centos熟悉点
3、hadoop包——用的是1.1.2版本(主要是这个版本资料较多)
4、jdk——hadoop需要java支持
5、ssh secure client——windows操作虚拟机所用
一、Vmware
1、选择虚拟机属性,网络适配器选择桥接模式
二、centos
1、设置网络
最好设置为静态ip,且设置之前最好在windows下ping一下你想设置的Ip,免得出现ip冲突
关闭防火墙 service iptables stop
2、检查网络
虚拟机与宿主互ping成功后,说明网络配置成功。
3、可能问题
linux、windows防火墙未关闭
虚拟机网络连接方式有问题
三、安装jdk
1、用ssh client将jdk文件上传至虚拟机,我选择的目录是/local。
2、修改 /etc/profile文件,增加:
export JAVA_HOME = /local/jdk
export PATH=.:$PATH:$JAVA_HOME/bin
3、测试成功
shell下输入java、javac等
4、注意问题
记的source /etc/profile哦
四、设置DNS解析
1、修改 /etc/hosts, 增加下面两个映射:
192.168.1.30 master192.168.1.31 slave
2、测试
ping master 成功即可
五、设置ssh免密码登陆
1、生成秘钥
cd ~/.ssh
ssh-keygen -t rsa
各种回车就行
2、生成授权文件
cp id_rsa.pub authorized_keys
3、在主节点和从节点都进行1、2动作
4、在主节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub slave
5、在从节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub master
6、测试
互相ssh,看需不需要密码
六、安装hadoop
1、同jdk安装一样,配置相应的环境变量
2、环境变量
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
3、测试
shell下输入hadoop
七、修改配置文件
1、环境脚本文件hadoop-env.sh
修改 export JAVA_HOME=/local/jdk,记的删掉"#"
2、修改core-site.xml
fs.default.name //配置NN节点地址和端口号master:9000 //注意格式必须是host:port的形式hadoop.tmp.dir //hadoop临时目录用来存放nn临时文件/local/hadoop/tmp //该目录必须预先手工创建不能删除
3、修改hdfs-site.xml
dfs.replication //数据节点冗余备份的数量,由于实验只有2个3 // NN顾设置唯一,实际配置是可由实际情况
4、修改mapred-site.xml
mapred.job.tracker master:9001 //jobTracker访问路径
5、在主节点修改masters.xml
localhost
、拷贝到从节点scp -r /local/hadoop/conf root@slave:/local/hadoop
7、在从节点修改slaves.xmllocalhost
slave
八、格式化系统
1、hadoop namenode -format
九、启动
1、start-all.sh
2、检测 jps 主节点有namenode datanode jobtracker tasktracker secondaryNameNode 从节点有datanode tasktracker