博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop集群基本配置
阅读量:5232 次
发布时间:2019-06-14

本文共 2049 字,大约阅读时间需要 6 分钟。

最近在学习hadoop。网上具体过程很多,我就说说简单过程和注意问题。

环境:宿主机(windows64),虚拟机(centos64)。

准备软件:

1、Vmware——虚拟机

2、centos镜像文件——centos熟悉点

3、hadoop包——用的是1.1.2版本(主要是这个版本资料较多)

4、jdk——hadoop需要java支持

5、ssh secure client——windows操作虚拟机所用

一、Vmware

1、选择虚拟机属性,网络适配器选择桥接模式

二、centos

1、设置网络

最好设置为静态ip,且设置之前最好在windows下ping一下你想设置的Ip,免得出现ip冲突

关闭防火墙 service iptables stop

2、检查网络

虚拟机与宿主互ping成功后,说明网络配置成功。

3、可能问题

linux、windows防火墙未关闭

虚拟机网络连接方式有问题

三、安装jdk

1、用ssh client将jdk文件上传至虚拟机,我选择的目录是/local。

2、修改 /etc/profile文件,增加:

export JAVA_HOME = /local/jdk

export PATH=.:$PATH:$JAVA_HOME/bin

3、测试成功

shell下输入java、javac等

4、注意问题

记的source /etc/profile哦

四、设置DNS解析

1、修改 /etc/hosts,  增加下面两个映射:

192.168.1.30  master192.168.1.31  slave

2、测试

ping master 成功即可

五、设置ssh免密码登陆

1、生成秘钥

cd ~/.ssh

ssh-keygen -t rsa

各种回车就行

2、生成授权文件

cp id_rsa.pub authorized_keys

3、在主节点和从节点都进行1、2动作

4、在主节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub slave

5、在从节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub master

6、测试

互相ssh,看需不需要密码

六、安装hadoop

1、同jdk安装一样,配置相应的环境变量

2、环境变量

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

3、测试

shell下输入hadoop

七、修改配置文件

1、环境脚本文件hadoop-env.sh 

修改 export JAVA_HOME=/local/jdk,记的删掉"#"

2、修改core-site.xml

fs.default.name
//配置NN节点地址和端口号
master:9000
//注意格式必须是host:port的形式
hadoop.tmp.dir
//hadoop临时目录用来存放nn临时文件
/local/hadoop/tmp
//该目录必须预先手工创建不能删除

3、修改hdfs-site.xml

dfs.replication
//数据节点冗余备份的数量,由于实验只有2个
3
// NN顾设置唯一,实际配置是可由实际情况

4、修改mapred-site.xml

mapred.job.tracker
master:9001
//jobTracker访问路径

5、在主节点修改masters.xml 

localhost

、拷贝到从节点

  scp -r /local/hadoop/conf root@slave:/local/hadoop 

7、在从节点修改slaves.xml 

localhost

 slave

八、格式化系统 

1、hadoop namenode -format 

九、启动

1、start-all.sh 

2、检测 
jps 
主节点有namenode datanode jobtracker tasktracker secondaryNameNode 
从节点有datanode tasktracker

转载于:https://www.cnblogs.com/longshiyVip/p/4803868.html

你可能感兴趣的文章
转:基于用户投票的排名算法系列
查看>>
WSDL 详解
查看>>
[转]ASP数组全集,多维数组和一维数组
查看>>
C# winform DataGridView 常见属性
查看>>
逻辑运算和while循环.
查看>>
Nhiberate (一)
查看>>
c#后台计算2个日期之间的天数差
查看>>
安卓开发中遇到的小问题
查看>>
ARTS打卡第3周
查看>>
linux后台运行和关闭SSH运行,查看后台任务
查看>>
cookies相关概念
查看>>
CAN总线波形中ACK位电平为什么会偏高?
查看>>
MyBatis课程2
查看>>
桥接模式-Bridge(Java实现)
查看>>
svn客户端清空账号信息的两种方法
查看>>
springboot添加servlet的两种方法
查看>>
java的Array和List相互转换
查看>>
layui父页面执行子页面方法
查看>>
如何破解域管理员密码
查看>>
Windows Server 2008 R2忘记管理员密码后的解决方法
查看>>