>> 欢迎您 客人: 登录 | 注册 | 在线 | 搜索 | 风格 | 帮助 | 统计 | 文章 返回首页
>>分享SPSS,Hadoop等大数据处理技术，以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
Java技术网站 → 『 Java开发技术 』 → 『 大数据处理和分布式架构专题 』 → Docker部署Hadoop集群
发表一个新主题 开启一个新投票 回复文章 您是本文章第 22302 个阅读者 刷新本主题
 * 贴子主题:  Docker部署Hadoop集群 回复文章 点赞(0)  收藏  
作者:flybird    发表时间：2024-04-29 01:21:21     消息  查看  搜索  好友  邮件  复制  引用
   一、主机规划
3台主机：1个master、2个slaver/worker
ip地址使用docker默认的分配地址：
  master：
主机名： hadoop2、ip地址： 172.17.0.2


  slaver1：
主机名： hadoop3、ip地址： 172.17.0.3
主机名： hadoop4、ip地址： 172.17.0.4
  二、软件安装
1、在docker中安装centos镜像，并启动centos容器，安装ssh。 --详见"docker上安装centos镜像"一文。
2、通过ssh连接到centos容器，安装jdk1.8、hadoop3.0
可以按照传统linux安装软件的方法，通过将jdk和hadoop的tar包上传到主机进行安装。

获取centos7镜像

$ docker pull centos  大概是70多M，使用阿里云等Docker加速器的话很快就能下载完，之后在镜像列表中就可以看到
查看镜像列表的命令：
$ docker images

安装SSH

以centos7镜像为基础，构建一个带有SSH功能的centos
$ vi Dockerfile  内容：
FROM centos
MAINTAINER ljh@hdd520.cn

RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients

RUN echo "root:abc123" | chpasswd
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]  这段内容的大意是：以 centos 镜像为基础，安装SSH的相关包，设置了root用户的密码为 abc123，并启动SSH服务
执行构建镜像的命令，新镜像命名为 centos7-ssh
$ docker build -t="centos7-ssh" .  执行完成后，可以在镜像列表中看到
$ docker images

构建Hadoop镜像

上面是运行了3个centos容器，需要在每个容器中单独安装Hadoop环境，我们可以像构建SSH镜像一样，构建一个Hadoop镜像，然后运行3个Hadoop容器，这样就更简单了
$ vi Dockerfile  内容：
FROM centos7-ssh
ADD jdk-8u151-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-3.1.0.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

RUN yum install -y which sudo  

这里是基于 centos7-ssh 这个镜像，把 JAVA 和 Hadoop 的环境都配置好了
前提：在Dockerfile所在目录下准备好 jdk-8u101-linux-x64.tar.gz 与 hadoop-2.7.3.tar.gz
执行构建命令，新镜像命名为 hadoop
$ docker build -t="hadoop" .  在/etc/hosts文件中添加3台主机的主机名和ip地址对应信息
172.17.0.2      hadoop2
172.17.0.3      hadoop3
172.17.0.4      hadoop4
在docker中直接修改/etc/hosts文件，在重启容器后会被重置、覆盖。因此需要通过容器启动脚本docker run的--add-host参数将主机和ip地址的对应关系传入，容器在启动后会写入hosts文件中。如：
docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 hadoop
docker exec -it hadoop2 bash

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys   hadoop部署
1.在workers文件中定义工作节点
在hadoop根目录下的etc/hadoop目录下新建workers文件，并添加工作节点主机信息。
按照步骤一中的主机规划，工作节点主机为hadoop3和hadoop4两台主机。如：
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers
hadoop3
hadoop4  2、修改配置文件信息
  a、在hadoop-env.sh中，添加JAVA_HOME信息
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME
#  JAVA_HOME=/usr/java/testing hdfs dfs -ls
# Technically, the only required environment variable is JAVA_HOME.
# export JAVA_HOME=
JAVA_HOME=/usr/local/jdk1.8   b、core-site.xml


<configuration><property>
<name>fs.default.name</name>
<value>hdfs://hadoop2:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>   c、hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:9001</value>
<description># 通过web界面来查看HDFS状态 </description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description># 每个Block有2个备份</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>   d、yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop2:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop2:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop2:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>   e、mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
</configuration>  

f、为防止进坑提前做好准备
vi start-dfs.sh   vi stop-dfs.sh

HDFS_DATANODE_USER=root
#HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs  vi start-yarn.sh   vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root   注意：
以上步骤完成以后停止当前容器，并使用docker命令保持到一个新的镜像。使用新的镜像重新启动集群，这样集群每台机器都有相同的账户、配置和软件，无需再重新配置。如：
a、停止容器
docker stop hadoop2  b、保存镜像
docker commit hadoop2 hadoop_me:v1.0   测试
1、端口映射
集群启动后，需要通过web界面观察集群的运行情况，因此 需要将容器的端口映射到宿主主机的端口上，可以通过docker run命令的-p选项完成。比如：
将yarn任务调度端口映射到宿主主机8088端口上：
docker run -it -p 8088:8088 hadoop_me:v1.0  2、从新镜像启动3个容器
docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888
hadoop_me:v1.0

docker run --name hadoop3 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0

docker run --name hadoop4 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0  3.格式化
进入到/usr/local/hadoop目录下
执行格式化命令
bin/hdfs namenode -format  修改hadoop2中hadoop的一个配置文件etc/hadoop/slaves
删除原来的所有内容，修改为如下
hadoop3
hadoop4  在hadoop2中执行命令
  scp  -rq /usr/local/hadoop   hadoop3:/usr/local
scp  -rq /usr/local/hadoop   hadoop4:/usr/local  4.在master主机上执行start-all.sh脚本启动集群
5.通过web页面访问
点击在新窗口中浏览原图 CTRL+鼠标滚轮放大或缩小


点击在新窗口中浏览原图 CTRL+鼠标滚轮放大或缩小


点击在新窗口中浏览原图 CTRL+鼠标滚轮放大或缩小





----------------------------
原文链接:https://blog.51cto.com/865516915/2150651


程序猿的技术大观园：www.javathinker.net
Java精品书籍推荐
Java最新视频教程推荐
  Java面向对象编程-->对象的生命周期
  JavaWeb开发-->Web运作原理（Ⅲ）
  JSP与Hibernate开发-->Spring、JPA与Hibernate的整合
  Java网络编程-->安全网络通信
  精通Spring-->CSS过渡和动画
  Vue3开发-->Vue简介
本站其他相关文章
  一套可复用的方法论！从0-1搭建数据团队，看这篇就够了
  Redis服务器重要属性详解
  spark读取redis数据（交互式，scala单机版，java单机版）
  Spark学习之Redis
  海量数据解决思路之Hash算法
  使用Helm简化K8S应用管理
  如何面对高并发？缓存？中台为什么会火？
  Hadoop配置项整理(hdfs-site.xml)
  MySQL 每秒 570000 的写入，如何实现
  大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建
  Spark Thrift JDBCServer应用场景解析与实战案例
  Hive 企业级调优
  大数据平台CDH搭建
  超详细的Hadoop2配置详解
  深入理解MapReduce的架构和原理
  更多...
 IPIP: 已设置保密
楼主      
该用户目前不在线 mikhop 
  

威望: 0
级别: 侠客
魅力: 210
经验: 210
现金: 1176
发文章数: 22 篇
注册时间: 0001-01-01
 消息  查看  搜索  好友  邮件  复制  引用

如果你要做一件事,请不要炫耀,也不要宣扬,只管安安静静地去做。因为那是你自己的事,别人不知道你的情况,也不可能帮你去实现。千万不要因为虚荣心而炫耀。也不要因为别人的一句评价而放弃自己的梦想。其实最好的状态,是坚持自己的梦想,听听前辈的建议,少错几步。值不值,时间是最好的证明。
福彩双色球走势图、澳洲幸运20走势图、幸运飞艇走势图
发文章时间 2024-04-29 01:21:21
 IPIP: 已设置保密 第 1 楼     
共1页 1条记录 当前第1页
发表一个新主题 开启一个新投票 回复文章

中文版权所有： JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶，分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权，请与本站管理员联系。