请教hadoop2.0的ha如何配置
我也遇到同样的错误,原因是jdk是64位的,而安装的hadoop是32位。
下载hadoop源码编译为64位,再重新部署,就可以了。
SecondNamenode是对主Namenode的一个补充,它会周期的执行对HDFS元数据的检查点。
当前的设计仅仅允许每个HDFS只有单个SecondNamenode结点。
SecondNamenode是有一个后台的进程,会定期的被唤醒(唤醒的周期依赖相关配置)执行检查点任务,然后继续休眠。
它使用ClientProtocol协议与主Namenode通信。
1 Hadoop HA架构详解
1.1 HDFS HA背景
HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启动。
影响HDFS集群不可用主要包括以下两种情况:一是NameNode机器宕机,将导致集群不可用,重启NameNode之后才可使用;二是计划内的NameNode节点软件或硬件升级,导致集群在短时间内不可用。
为了解决上述问题,Hadoop给出了HDFS的高可用HA方案:HDFS通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,比如处理来自客户端的RPC请求,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便能够在它失败时快速进行切换。
1.2 HDFS HA架构
一个典型的HA集群,NameNode会被配置在两台独立的机器上,在任何时间上,一个NameNode处于活动状态,而另一个NameNode处于备份状态,活动状态的NameNode会响应集群中所有的客户端,备份状态的NameNode只是作为一个副本,保证在必要的时候提供一个快速的转移。
为了让Standby Node与Active Node保持同步,这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace,它将记录修改日志发送给JNS的多数派。Standby noes将会从JNS中读取这些edits,并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中,当failover发生时,Standby将会在提升自己为Active之前,确保能够从JNS中读取所有的edits,即在failover发生之前Standy持有的namespace应该与Active保持完全同步。
为了支持快速failover,Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的,DataNodes上需要同时配置这两个Namenode的地址,同时和它们都建立心跳链接,并把block位置发送给它们。
任何时刻,只有一个Active NameNode是非常重要的,否则将会导致集群操作的混乱,那么两个NameNode将会分别有两种不同的数据状态,可能会导致数据丢失,或者状态异常,这种情况通常称为“split-brain”(脑裂,三节点通讯阻断,即集群中不同的Datanodes却看到了两个Active NameNodes)。对于JNS而言,任何时候只允许一个NameNode作为writer;在failover期间,原来的Standby Node将会接管Active的所有职能,并负责向JNS写入日志记录,这就阻止了其他NameNode基于处于Active状态的问题。
基于QJM的HDFS HA方案如上图所示,其处理流程为:集群启动后一个NameNode处于Active状态,并提供服务,处理客户端和DataNode的请求,并把editlog写到本地和share editlog(这里是QJM)中。另外一个NameNode处于Standby状态,它启动的时候加载fsimage,然后周期性的从share editlog中获取editlog,保持与Active节点的状态同步。为了实现Standby在Active挂掉后迅速提供服务,需要DataNode同时向两个NameNode汇报,使得Stadnby保存block to DataNode信息,因为NameNode启动中最费时的工作是处理所有DataNode的blockreport。为了实现热备,增加FailoverController和Zookeeper,FailoverController与Zookeeper通信,通过Zookeeper选举机制,FailoverController通过RPC让NameNode转换为Active或Standby。
1.3 HDFS HA配置要素
NameNode机器:两台配置对等的物理机器,它们分别运行Active和Standby Node。
JouralNode机器:运行JouralNodes的机器。JouralNode守护进程相当的轻量级,可以和Hadoop的其他进程部署在一起,比如NameNode、DataNode、ResourceManager等,至少需要3个且为奇数,如果你运行了N个JNS,那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。
在HA集群中,Standby NameNode还会对namespace进行checkpoint操作(继承Backup Namenode的特性),因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode或者BackupNode。
1.4 HDFS HA配置参数
需要在hdfs.xml中配置如下参数:
dfs.nameservices:HDFS NN的逻辑名称,例如myhdfs。
dfs.ha.namenodes.myhdfs:给定服务逻辑名称myhdfs的节点列表,如nn1、nn2。
dfs.namenode.rpc-address.myhdfs.nn1:myhdfs中nn1对外服务的RPC地址。
dfs.namenode.http-address.myhdfs.nn1:myhdfs中nn1对外服务http地址。
dfs.namenode.shared.edits.dir:JournalNode的服务地址。
dfs.journalnode.edits.dir:JournalNode在本地磁盘存放数据的位置。
dfs.ha.automatic-failover.enabled:是否开启NameNode失败自动切换。
dfs.ha.fencing.methods :配置隔离机制,通常为sshfence。
1.5 HDFS自动故障转移
HDFS的自动故障转移主要由Zookeeper和ZKFC两个组件组成。
Zookeeper集群作用主要有:一是故障监控。每个NameNode将会和Zookeeper建立一个持久session,如果NameNode失效,那么此session将会过期失效,此后Zookeeper将会通知另一个Namenode,然后触发Failover;二是NameNode选举。ZooKeeper提供了简单的机制来实现Acitve Node选举,如果当前Active失效,Standby将会获取一个特定的排他锁,那么获取锁的Node接下来将会成为Active。
ZKFC是一个Zookeeper的客户端,它主要用来监测和管理NameNodes的状态,每个NameNode机器上都会运行一个ZKFC程序,它的职责主要有:一是健康监控。ZKFC间歇性的ping NameNode,得到NameNode返回状态,如果NameNode失效或者不健康,那么ZKFS将会标记其为不健康;二是Zookeeper会话管理。当本地NaneNode运行良好时,ZKFC将会持有一个Zookeeper session,如果本地NameNode为Active,它同时也持有一个“排他锁”znode,如果session过期,那么次lock所对应的znode也将被删除;三是选举。当集群中其中一个NameNode宕机,Zookeeper会自动将另一个激活。
1.6 YARN HA架构
YARN的HA架构和HDFSHA类似,需要启动两个ResourceManager,这两个ResourceManager会向ZooKeeper集群注册,通过ZooKeeper管理它们的状态(Active或Standby)并进行自动故障转移。
2 高可用集群规划
2.1 集群规划
根据Hadoop的HA架构分析,规划整个集群由5台主机组成,具体情况如下表所示:
主机名
IP地址
安装的软件
JPS
hadoop-master1
172.16.20.81
Jdk/hadoop
Namenode/zkfc/resourcemanager/
JobHistoryServer
hadoop-master2
172.16.20.82
Jdk/hadoop
Namenode/zkfc/resourcemanager/
WebProxyServer
hadoop-slave1
172.16.20.83
Jkd/hadoop/zookeepe
Datanode/journalnode/nodemanager/
quorumPeerMain
hadoop-slave2
172.16.20.84
Jkd/hadoop/zookeeper
Datanode/journalnode/nodemanager/
quorumPeerMain
hadoop-slave3
172.16.20.85
Jkd/hadoop/zookeeper
Datanode/journalnode/nodemanager/
quorumPeerMain
需要说明以下几点:
HDFS HA通常由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便能够在它失败时快速进行切换。
Hadoop 2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode,这里还配置了一个Zookeeper集群,用于ZKFC故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为Active状态。
YARN的ResourceManager也存在单点故障问题,这个问题在hadoop-2.4.1得到了解决:有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调。
YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息,否则只能查看当前正在执行的任务信息。
Zookeeper的作用是负责HDFS中NameNode主备节点的选举,和YARN框架下ResourceManaer主备节点的选举。
2.2 软件版本
操作系统:CentOS Linux release 7.0.1406
JDK:Java(TM)SE Runtime Environment (build 1.7.0_79-b15)
Hadoop:Hadoop 2.6.0-cdh5.7.1
ZooKeeper:zookeeper-3.4.5-cdh5.7.1
3 Linux环境准备
集群各节点进行如下修改配置:
3.1 创建用户并添加权限
// 切换root用户
$ su root
// 创建hadoop用户组
# groupadd hadoop
// 在hadoop用户组中创建hadoop用户
# useradd -g hadoop hadoop
// 修改用户hadoop密码
# passwd hadoop
// 修改sudoers配置文件给hadoop用户添加sudo权限
# vim /etc/sudoers
hadoop ALL=(ALL) ALL
// 测试是否添加权限成功
# exit
$ sudo ls /root
3.2 修改IP地址和主机名
// 切换root用户
$ su root
// 修改本机IP地址
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
// 重启网络服务
# service network restart
// 修改主机名
# hostnamectl set-hostname 主机名
// 查看主机名
# hostnamectl status
3.3 设置IP地址与主机名映射
// 切换root用户
$ su root
// 编辑hosts文件
# vim /etc/hosts
172.16.20.81 hadoop-master1
172.16.20.82 hadoop-master2
172.16.20.83 hadoop-slave1
172.16.20.84 hadoop-slave2
172.16.20.85 hadoop-slave3
3.4 关闭防火墙和Selinux
// 切换root用户
$ su root
// 停止firewall防火墙
# systemctl stop firewalld.service
// 禁止firewall开机启动
# systemctl disable firewalld.service
// 开机关闭Selinux
# vim /etc/selinux/config
SELINUX=disabled
// 重启机器后root用户查看Selinux状态
# getenforce
3.5 配置SSH免密码登录
// 在hadoop-master1节点生成SSH密钥对
$ ssh-keygen -t rsa
// 将公钥复制到集群所有节点机器上
$ ssh-copy-id hadoop-master1
$ ssh-copy-id hadoop-master2
$ ssh-copy-id hadoop-slave1
$ ssh-copy-id hadoop-slave2
$ ssh-copy-id hadoop-slave3
// 通过ssh登录各节点测试是否免密码登录成功
$ ssh hadoop-master2
备注:在其余节点上执行同样的操作,确保集群中任意节点都可以ssh免密码登录到其它各节点。
3.6 安装JDK
// 卸载系统自带的openjdk
$ suroot
# rpm-qa | grep java
# rpm-e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
# rpm-e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
# rpm-e --nodeps tzdata-java-2015a-1.el7_0.noarch
# exit
// 解压jdk安装包
$ tar-xvf jdk-7u79-linux-x64.tar.gz
// 删除安装包
$ rmjdk-7u79-linux-x64.tar.gz
// 修改用户环境变量
$ cd ~
$ vim.bash_profile
exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79
exportPATH=$PATH:$JAVA_HOME/bin
// 使修改的环境变量生效
$ source.bash_profile
// 测试jdk是否安装成功
$ java-version
4 集群时间同步
如果集群节点时间不同步,可能会出现节点宕机或引发其它异常问题,所以在生产环境中一般通过配置NTP服务器实现集群时间同步。本集群在hadoop-master1节点设置ntp服务器,具体方法如下:
// 切换root用户
$ su root
// 查看是否安装ntp
# rpm -qa | grep ntp
// 安装ntp
# yum install -y ntp
// 配置时间服务器
# vim /etc/ntp.conf
# 禁止所有机器连接ntp服务器
restrict default ignore
# 允许局域网内的所有机器连接ntp服务器
restrict 172.16.20.0 mask 255.255.255.0 nomodify notrap
# 使用本机作为时间服务器
server 127.127.1.0
// 启动ntp服务器
# service ntpd start
// 设置ntp服务器开机自动启动
# chkconfig ntpd on
集群其它节点通过执行crontab定时任务,每天在指定时间向ntp服务器进行时间同步,方法如下:
// 切换root用户
$ su root
// 执行定时任务,每天00:00向服务器同步时间,并写入日志
# crontab -e
0 0 * * * /usr/sbin/ntpdate hadoop-master1>> /home/hadoop/ntpd.log
// 查看任务
# crontab -l
5 Zookeeper集群安装
Zookeeper是一个开源分布式协调服务,其独特的Leader-Follower集群结构,很好的解决了分布式单点问题。目前主要用于诸如:统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用Zookeeper的集群管理功能。
本集群使用zookeeper-3.4.5-cdh5.7.1版本。首先在hadoop-slave1节点安装Zookeeper,方法如下:
// 新建目录
$ mkdir app/cdh
// 解压zookeeper安装包
$ tar -xvf zookeeper-3.4.5-cdh5.7.1.tar.gz -C app/cdh/
// 删除安装包
$ rm -rf zookeeper-3.4.5-cdh5.7.1.tar.gz
// 配置用户环境变量
$ vim .bash_profile
export ZOOKEEPER_HOME=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin
// 使修改的环境变量生效
$ source.bash_profile
// 修改zookeeper的配置文件
$ cd app/cdh/zookeeper-3.4.5-cdh5.7.1/conf/
$ cp zoo_sample.cfg zoo.cfg
$ vim zoo.cfg
# 客户端心跳时间(毫秒)
tickTime=2000
# 允许心跳间隔的最大时间
initLimit=10
# 同步时限
syncLimit=5
# 数据存储目录
dataDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data
# 数据日志存储目录
dataLogDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data/log
# 端口号
clientPort=2181
# 集群节点和服务端口配置
server.1=hadoop-slave1:2888:3888
server.2=hadoop-slave2:2888:3888
server.3=hadoop-slave3:2888:3888
# 以下为优化配置
# 服务器最大连接数,默认为10,改为0表示无限制
maxClientCnxns=0
# 快照数
autopurge.snapRetainCount=3
# 快照清理时间,默认为0
autopurge.purgeInterval=1
// 创建zookeeper的数据存储目录和日志存储目录
$ cd ..
$ mkdir -p data/log
// 在data目录中创建一个文件myid,输入内容为1
$ echo "1" >> data/myid
// 修改zookeeper的日志输出路径(注意CDH版与原生版配置文件不同)
$ vim libexec/zkEnv.sh
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
ZOO_LOG_DIR="$ZOOKEEPER_HOME/logs"
fi
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi
// 修改zookeeper的日志配置文件
$ vim conf/log4j.properties
zookeeper.root.logger=INFO,ROLLINGFILE
// 创建日志目录
$ mkdir logs
将hadoop-slave1节点上的Zookeeper目录同步到hadoop-slave2和hadoop-slave3节点,并修改Zookeeper的数据文件。此外,不要忘记设置用户环境变量。
// 在hadoop-slave1中将zookeeper目录复制到其它节点
$ cd ~
$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1hadoop-slave2:/home/hadoop/app/cdh
$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1 hadoop-slave3:/home/hadoop/app/cdh
//在hadoop-slave2中修改data目录中的myid文件
$ echo "2" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid
//在hadoop-slave3中修改data目录中的myid文件
$ echo "3" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid
最后,在安装了Zookeeper的各节点上启动Zookeeper,并查看节点状态,方法如下:
// 启动
$ zkServer.sh start
// 查看状态
$ zkServer.sh status
// 关闭
大数据培训就业靠谱吗?
选择千锋教育的大数据培训,您将享受以下优势:1. 全面的课程设置:千锋教育的大数据培训课程涵盖了大数据技术的基础知识、数据处理和分析、数据挖掘和机器学习等内容。我们注重理论与实践相结合,通过实际项目和案例的训练,帮助学员掌握实际应用能力。2. 专业的师资团队:千锋教育拥有经验丰富的大数据专家和从业...
搭建成功之后重新开启UBUNTU,怎么启动hadoop
从这次搭建环境中,学会了试着分析日志找到问题,同时通过一步步排除可能的原因得到最后的原因。相关阅读:Ubuntu 13.04上搭建Hadoop环境 http:\/\/www.linuxidc.com\/Linux\/2013-06\/86106.htm Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http:\/\/www.linuxidc.com\/Linux\/2013-09\/90600.htm Ubuntu上...
大数据培训内容,大数据要学哪些课程
《大数据实训课程资料》百度网盘资源免费下载 链接:https:\/\/pan.baidu.com\/s\/1RiGvjn2DlL5pPISCG_O0Sw ?pwd=zxcv 提取码:zxcv 大数据实训课程资料|云计算与虚拟化课程资源|课程实验指导书综合版|机器学习与算法分析课程资源|Spark课程资源|Python课程资源|Hadoop技术课程资源|云计算课程资料.zip|微课....
大数据培训哪家机构好哪个好
大数据培训机构推荐选择【达内教育】,该机构拥有全新的课程,灵活的体系,入学前技能评估帮助学员更好了解自身缺陷,为学员提供全周期、系统化的人才培养服务。【达内教育】培养的学员专业技能强,职业素养好,在用人单位中拥有良好口碑。培养学员严谨的工作态度、信息化思维以及快迅独立解决问题的能力,可以在...
大数据学习需要哪些课程?
大数据技术专业属于交叉学科:以统计学、数学、计算机为三大支撑性学科。培养面向多层次应用需求的复合型人才。想要学习大数据课程推荐选择【达内教育】。大数据专业全称数据科学与大数据技术。【大数据】需要学习的课程:1、大数据存储阶段:hbase、hive、sqoop。2、大数据架构设计阶段:Flume分布式、Zookeeper、...
总想问问哪类人群适合学IT技术呢?
1. 大数据新手复习资料:这份资料针对大数据新手,超出了2万字的详细版本。内容包括Linux基础、分布式系统原理及流行的大数据技术,如Lilux、Zookeeper、Hadoop、HDFS、Hive、Hbase、Scala和Spark等。2. 纯血鸿蒙系统学习和发展前景:纯血鸿蒙与鸿蒙系统有所区别,它不再兼容安卓。随着鸿蒙生态的快速发展,学习...
参加大数据培训班真的能学懂吗?靠谱吗?
2、大数据培训-互联网架构。达内大数据课程体系在互联网架构方面涉及比较全面,既有负载均衡Ngnix,也有基于搜索Solr,缓存Redis等。当学习完这些课程以后,已经对互联网架构有一定实操和熟练。3、大数据培训-大数据开发。达内大数据课程注重底层的学习,在学习hadoop之前,要通过一个项目学习hadoop的底层知识点。...
大数据学习有什么要求?
从通常的情况下来讲,要求大数据学习最好是理工科基础,数学比较好,然后逻辑思维比较强,最重要的是需要对它有浓厚的兴趣有强烈的好奇心。如需大数据培训推荐选择【达内教育】。从现在企业的要求来看,至少要专科以上的学历,并且熟悉JAVA、Hadoop、HBase、Flink等等编程语言以及系统。大数据开发学习有一定...
要成为一名大数据开发工程师必备哪些技能?
掌握至少一种数据库开发技术:Oracle、Teradata、DB2、Mysql等,灵活运用SQL实现海量数据ETL加工处理;有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术并有相关实践经验着优先,重点考察Hdfs、Mapreduce、Hive、Hbase;熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发...
数据科学与大数据技术专业好找工作吗
数据科学与大数据技术可从事的职业 1、Hadoop大数据开发方向 市场需求旺盛,大数据培训的主体,我们培训的重点 对应岗位:大数据开发工程师、爬虫工程师、数据分析师 等。2、数据挖掘、数据分析&机器学习方向 学习起点高、难度大,市面上基本没有培训机构在做,后续有计划加入我们课程体系。对应岗位:数据...
虫明盐酸: 1.2 HDFS2.2.0HA配置1.2.1 core-site.xmlfs.defaultFS hdfs://mycluster io.file.buffer.size 131072 hadoop.tmp.dir /opt/hadoop/data/hadoop/temp Abase for other temporarydirectories. hadoop.proxyuser.hadoop.hosts * hadoop.proxyuser.hadoop....
贡觉县18564591314: 部署hadoop 2.0HA,但碰到一个问题,特来请教大牛!?
虫明盐酸: 1.jpg 问题解决了:主节点是安装ssh的时候是root 从节点是普通用户,权限导致的问题还有就是主机名和地址注意匹配.
贡觉县18564591314: 如何使用zookeeper管理NameNodede之间的切换 - ?
虫明盐酸: namenode的高可用ha,是吧,可以参考hadoop2.0版本的(0.23就有了)或cdh4.hdfs ha,两个namenode,一个处于active状态,两个共用一个共享存储.用的不是zookeeper
贡觉县18564591314: Hadoop2.0在效率和性能上有没有改进 - ?
虫明盐酸: 相对于1.0来说当然是有改进的了,主要体现在两个方面:第一,Namenode问题,1.0只有一个主节点,容易出现单点故障,并且当管理多个数据节点的时候,负载压力很大.2.0通过HA机制,实现多个Namenode协作管理集群,它们共享数据...
贡觉县18564591314: Hadoop 2.0 跟Sqoop哪个版本比较匹配 - ?
虫明盐酸: Hadoop 2.0 跟Sqoop哪个版本比较匹配 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera's Distribution Including Apache ...
贡觉县18564591314: 关于hadoop开发 JDK的配置问题,请教高手 - ?
虫明盐酸: Hadoop安装时需要指定HADOOP_HOME位置.可以使用如下三种export方法:1、直接使用export命令#export HADOOP_HOME=/home/sj/hadoop-x#export JAVA_HOME=/home/sj/java.x#export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_...
贡觉县18564591314: Hadoop2.0中是否需要配置masters文件? - ?
虫明盐酸: 我也是刚刚手动配完,在官网上没有看到说配置这个,而且相比slaves这个master的意义不是很明确,感觉没必要.
贡觉县18564591314: windows不能运行hadoop吗为什么非要用linux运行hadoop - ?
虫明盐酸: hadoop 2.0还是2.20之后有兼容windows的版本,然而大部分都是部署在linux上的.记得刚出win版本的那天,我兴冲冲的下载部署了一整天还是遇到各种问题没能部署成功.至今为止还没见到有哪个公司把hadoop生产环境部署在windows上的.
贡觉县18564591314: 请教一下,hadoop fs.data.dir的配置问题,假如说各个数据结点硬盘数都不一样的情况下,如何配置!?? - ?
虫明盐酸: 这个参数是本地生效的,就是说配置的参数仅在本节点生效.你datanode1可以配置3个路径(分别是3块盘下的),datanode2可以配置10个路径. 如datanode1上配置 <property><name>dfs.data.dir</name><value>/home/u/hdfs/data1,/home/...