Bigdata-Cloudera Manager5及CDH5安装指导

Posted by Yancy on 2017-07-29

问题导读:

1.什么是cloudera CM 、CDH?
2.CDH、CM有哪些版本?
3.CDH、CM有哪些安装方式?
4.CDH如何开发?

什么是CDH

hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。
Cloudera公司的发行版,我们将该版本称为CDH。

很多新手问的最多的问题是,哪个是收费的,那个是免费的。
Cloudera Express版本是免费的
Cloudera Enterprise是需要购买注册码的

更多内容:
Cloudera Hadoop什么是CDH及CDH版本介绍 :http://www.aboutyun.com/thread-6788-1-1.html

CDH(Cloudera)与hadoop(apache)对比 : http://www.aboutyun.com/thread-9225-1-1.html

大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术 : http://www.aboutyun.com/thread-6842-1-1.html

官网介绍

主页:
https://www.cloudera.com/downloads/manager/5-12-0.html

CM(Cloudera Manager)有三种安装方式:

1.第一种使用cloudera-manager-installer.bin安装

这种安装方式,只要从官网下载cloudera-manager-installer.bin 然后执行这个bin文件,剩下的就是等待下载和安装。但是这个时间不是一般的长,最好吃个饭,睡个觉,最后看到还在安装过程中。此帖安装步骤及遇到问题记录很详细,可参考
Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档
Cloudera Manager5及CDH5安装指导(终极在线安装)

问题导读:

1.Cloudera Manager5安装需要哪些环境要求?
2.哪些Linux系统上,可以安装Cloudera Manager5?
3.在安装cdh的过程中,该如何选择版本?

安装环境要求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
集群中的四台主机必须满足以下要求:
主机必须至少有16 GB的RAM
对于RAM,我们或许没有太多的概念,下面可以参考
RAM容量是运行中的程序所占用的空间,他运行需要的空间、
ROM容量是你的系统可以存放,占用的空间,你的所有系统文件,程序都在这里存放。
必须使用root用户,或则使用sudo无密码访问
(也就是说当你使用其它用户,使用sudo的时候,不能输入密码)
如果使用root用户,必须使用相同的密码
主机必须能上网,允许安装向导访问cdm.jollychic.com
可以从下面选择一个系统
RHEL-兼容系统
Red Hat Enterprise Linux and CentOS 5, 64-bit
Red Hat Enterprise Linux and CentOS 6, 64-bit
Red Hat Enterprise Linux and CentOS 7 in SE Linux Mode
SLES - SUSE Linux Enterprise Server 11, 64-bit. Service Pack 2或则更高版本. 更新存储库必须是激活的和 SUSE Linux Enterprise 软件开发包11 SP1 .
Debian - Debian 7.0 and 7.1, 64-bit
Ubuntu - Ubuntu 12.04, 64-bit
如果要求不能上面满足,安装会不成功。关于Cloudera Manager安装选项和安装要求的详细信息可以查看Cloudera Manager安装向导(英文版)
补充和强调一些内容
1.关闭防火墙
2.配置host,如下形式
3.swapoff -a 关闭swap分区
添加开机启动生效:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

环境:

1
2
3
4
5
6
系统: CentOS Linux release 7.3.1611 (Core)
2台Namenode
10台DataNode
1台cdm 安装Cloudera Manager
1台gateway

安装步骤:

  • 准备工作
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
配置hosts
14台服务器需要配置hostname及hosts如下
(这里一定要配置正确否则,会面会出通信问题)
vim /etc/hosts
127.0.0.1 localhost.localdomain localhost
10.155.90.132 cdm cdm.jollychic.com
10.155.90.134 gateway gateway.jollychic.com
10.155.90.165 namenode1 namenode1.jollychic.com
10.155.90.146 namenode2 namenode2.jollychic.com
10.155.90.177 datanode1 datanode1.jollychic.com
10.155.90.184 datanode2 datanode2.jollychic.com
10.155.90.166 datanode3 datanode3.jollychic.com
10.155.90.188 datanode4 datanode4.jollychic.com
10.155.90.156 datanode5 datanode5.jollychic.com
10.155.90.172 datanode6 datanode6.jollychic.com
10.155.90.182 datanode7 datanode7.jollychic.com
10.155.90.142 datanode8 datanode8.jollychic.com
10.155.90.151 datanode9 datanode9.jollychic.com
10.155.90.159 datanode10 datanode10.jollychic.com
关闭SELinux
[root@cdm ~]# setenforce 0
[root@cdm ~]# getenforce
Disabled
  • 下载安装:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
单击下载 Cloudera Express 或则 Download Cloudera Enterprise. 查看 Cloudera Express and Cloudera Enterprise Features.
选择注册和单击Submit 或则直接单击下载页链接( download page),下载 cloudera-manager-installer.bin文件
Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt.
1. 下载cloudera-manager-installer.bin
$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
2.改变 cloudera-manager-installer.bin 的执行权限
$ chmod u+x cloudera-manager-installer.bin
复制代码
3.执行 cloudera-manager-installer.bin
$ sudo ./cloudera-manager-installer.bin
复制代码
4.按照cloudera-manager的README 来安装
5.阅读Cloudera Manager Express License,然后按照提示选择YES来确定接受授权(license)
6.读取 Oracle 二进制 Code 授权许可协议,然后安装
7.当安装完成,Cloudera Manager 管理控制台会提供一个完成的url包括默认端口7180
我这种方法是在线安装方式,就说直接用.bin让系统自动下载需要的jdk和cm管理包。
如果网络差建议用离线安装方式。

先在本地搭建一个Creating a Local Yum Repository:
下载独立的包路径:cm need package

安装完成以后服务也启动。

这里显示安装成功,访问地址,如果离线安装不到这一步不能操作,会提示报错指示。先手动下载好包rpm安装上即可。

安装目录详情:

1
2
3
4
默认安装目录:/opt/cloudera
日志目录:/var/log/cloudera-scm-server
启动服务:[root@yancy cloudera-scm-server]# /etc/init.d/cloudera-scm-server status
cloudera-scm-server (pid 2723) 正在运行...

查看启动进程端口:

1
2
3
4
5
6
7
8
[root@cdm opt]# netstat -ntulp | grep java
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 25780/java
tcp 0 0 0.0.0.0:7182 0.0.0.0:* LISTEN 25780/java
访问地址:http://cdm.jollychic.com:7180
登录Cloudera Manager Admin 控制
Username: admin
Password: admin.

使用Cloudera Manager 向导安装和配置软件

cloudera首页:

1. 添加服务器集群:

在集群主机上安装和配置Cloudera Manager ,CDH,和管理服务软件包括以下三个主要步骤
选择 Cloudera Manager 版本 和指定主机

2. 选择免费版,add继续

3. 显示的是安装Cloudera Manager后面可以安装的服务的软件包

4. 这里需要说明的是指定主机安装有多种方式:
1
2
3
1.直接列出ip或则host,多台以逗号、分号、制表符、空格或放置在单独的行。
2.指定ip的地址范围例如:10.1.1.[1-4] 或则 host[1-3].hadoop.com.3.记得指定的主机需要关闭防火墙,(如果遇到不能安装,最好使用安装cloudera manager虚拟机进行复制)
选择需要安装的Hadoop datanode服务器:这里我们线上访问端口不是2258958

显示如下图说明机器通信没问题。

5. 安装CDH

选择安装方式
当我们选择安装的host之后,我们需要选择CDH的安装方式(方法),如下图所示


6. 这里点击安装Java工具包

7. 这里把需要安装的Hadoop服务器root密码设置一样,或者使用其他用户也可以,只要有sudo权限都可以。


8.安装这里如果提示出现报错:查看好文 Cloudera Manager5 在线bin安装遇到 无法检测到 Agent 发出的检测信号 总结


1
2
3
4
5
这里只需要卸载:
yum remove cloudera-manager-agent
如果想重新安装可以卸载所有:
yum remove cloudera-manager-repository cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server-db cloudera-manager-server -y

9.集群安装

图1



这是一个很漫长的过程,不幸的是在下载完毕,执行分发的时候,这个过程被打断,安装被终止。导致回不到图2,这个该如何解决?

难道真的要重装吗?花费了大半天功夫,又不得不重来。
这里面的问题是找不到cloudera manager5所管理的节点了?

记得about云有这篇文章卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
但是这篇文章是卸载Cloudera Manager以及CDH的,由于cloudera-scm-server和cloudera-scm-agent查看都是运行正常的,如何查看状态,可以参考:

Cloudera Manager Server5及Cloudera Manager Agents5命令整理(about云),所以cloudera manager不需要卸载,卸载的是CDH的相关内容。
于是执行下面命令:

1
2
3
4
5
6
7
8
9
sudo apt-update remove avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
复制代码
sudo apt-get clean
复制代码
sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper
复制代码
sudo rm -Rf /dfs /mapred /yarn
复制代码
通过上面终于找到所管理的三个节点。然后从新登录,选择三个主机,然后继续继续,最后终于进入了这个界面。但是细心的同学会发现这里已经更换为中文版本。因为这是通过宿主主机访问的。而前面是在虚拟机里使用firefox访问的。

成功到这一步:集群安装


10.选择集群设置

10.1 集群设置:自定义角色分配


设置好角色分配查看主机:

11. 数据库设置

✨✨ 这里使用默认设置,填写MySQL服务器IP,给予MySQL 用户名和密码all权限,不然会提示权限不足。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Create the Oozie Database and Oozie MySQL User
For example, using the MySQL mysql command-line tool:
$ mysql -u root -p
Enter password:
mysql> create database oozie default character set utf8;
Query OK, 1 row affected (0.00 sec)
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)
mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye

选择然后单击测试连接即可。

测试 Activity Monitor 的数据库连接
JDBC driver cannot be found. Unable to find the JDBC database jar on host : wlj-cdm.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
如果出现需要MySQL驱动,下载对应版本驱动,copy到相应目录/usr/share/java/ 统一去掉版本号.
参考Installing the MySQL JDBC Driver官网文档:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_mysql.html
#### Installing the MySQL JDBC Driver
Download the MySQL JDBC driver from http://www.mysql.com/downloads/connector/j/5.1.html.
Extract the JDBC driver JAR file from the downloaded file. For example:
### $ wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gz
### $ tar zxvf mysql-connector-java-5.1.31.tar.gz
Copy the JDBC driver, renamed, to the relevant host. For example:
### $ sudo cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar
If the target directory does not yet exist on this host, you can create it before copying the JAR file. For example:
### $ sudo mkdir -p /usr/share/java/
### $ sudo cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar
12. 审核更改(这里选择默认路径)

等待安装:

13. 安装成功

交流学习:

🐧 Linux shell_高级运维派: 459096184 圈子 (系统运维-应用运维-自动化运维-虚拟化技术研究欢迎加入)
🐧 BigData-Exchange School : 521621407 圈子(大数据运维)(Hadoop开发人员)(大数据研究爱好者) 欢迎加入

相应Bidata有内部微信交流群互相学习,加入QQ群有链接。