博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop-1.2.1集群安装
阅读量:7198 次
发布时间:2019-06-29

本文共 2029 字,大约阅读时间需要 6 分钟。

  hot3.png

1.安装hadoop集群之前首先需要安装jdk,并且配置好master和slave之间的免密码访问,参考之前的文章。

2.下载hadoop的安装包,解压出来,将hadoop的安装目录配进环境变量,在后面添加如下内容。

vi ~/.bashrc#添加如下内容export HADOOP_HOME=/apps/hadoopexport PATH=$PATH:$HADOOP_HOME/bin#刷新~/.bashrcsource ~/.bashrc

3.在hadoop的主目录新建文件夹temp

mkdir tmp

4.进入hadoop的conf文件夹,修改hadoop-env.sh,添加JAVA_HOME

vi hadoop-env.sh#添加如下内容export JAVA_HOME=/apps/jdk

5.修改core-site.xml,添加如下内容

vi core-site.xml#添加如下内容
hadoop.tmp.dir
/apps/hadoop/tmp
A base for other temporary directories.
fs.default.name
hdfs://master:9000

hadoop.tmp.dir :Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。

fs.default.name是NameNode的URI。hdfs://主机名:端口/

6.修改hdfs-site.xml,vi hdfs-site.xml,添加如下内容

dfs.replication
2

dfs.replication是数据副本数量,默认为3,salve少于3台就会报错。

7.修改mapred-site.xml,vi mapred-site.xml配置JobTracker的地址和端口,添加如下内容

mapred.job.tracker
http://master:9001

8.修改机器的masters文件,vi masters,将localhost改为master的地址或者hostName

master

9.修改masters机器上的slaves文件,vi slaves,将localhost改为slaves的地址或者hostName

slave1slave2

10.格式化HDFS文件系统,只需一次,下次启动不再需要格式化,只需运行第11步,start-all.sh

hadoop namenode -format

11.启动hadoop,在启动前关闭集群中所有机器的防火墙,不然会出现datanode开启后又自动关闭。

start-all.sh

可以通过以下启动日志看出,首先启动namenode 接着启动datanode1,datanode2,…,然后启动secondarynamenode。再启动jobtracker,然后启动tasktracker1,tasktracker2,…。启动 hadoop成功后,在 Master 中的 tmp 文件夹中生成了 dfs 文件夹,在Slave 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。

12.用命令jps验证启动是否成功,可以在master上看到JobTracker,NameNode和SecondaryNameNode进程。在slaves上可以看到DataNode和TaskTracker进程

13.用命令查看Hadoop集群的状态。

hadoop dfsadmin -report

14.用网页监控集群状态,访问"http://master_ip:50030",查看mapredurce集群状态;访问"http://master_ip:50070",查看hdfs集群状态。

15.遇到的问题

15.1 启动时提示Warning: $HADOOP_HOME is deprecated

编辑.bashrc文件,vi ~/.bashrc,添加如下内容

export HADOOP_HOME_WARN_SUPPRESS=1

使.bashrc生效,source ~/.bashrc。

参考文章:

转载于:https://my.oschina.net/cjun/blog/386090

你可能感兴趣的文章
PAT Advanced 1023 Have Fun with Numbers
查看>>
python多线程threading下载示例
查看>>
python常见问题解决方案
查看>>
【算法学习笔记】77.双线棋盘 动态规划 SJTU OJ 1263 纸来纸去
查看>>
OnSubmit中的Ajax判断
查看>>
CF1117G Recursive Queries
查看>>
愤怒的小鸟 高清完整版下载
查看>>
解决 border-radius 元素在应用了 transform 的子元素 时overflow:hidden 失效的问题
查看>>
linux命令 dirname
查看>>
Leangoo敏捷工具Jenkins配置指南
查看>>
又是一个开始
查看>>
installp 软件的4种状态
查看>>
定时清理clientmqueue目录垃圾文件防止占满磁盘空间
查看>>
计算将一个十进制整数转换成二进制含多少个1
查看>>
Flex 当鼠标悬停在DataGrid某行上时用datatoolField显示当前行
查看>>
关于Integer包装类对象之间值的比较
查看>>
7.4 括号匹配
查看>>
nginx + fastDFS 设置开机自动启动
查看>>
Redis.py客户端的命令总结【一】
查看>>
AlertDialog错误
查看>>