Cloudera Manager 4.6 安装部署hadoop CDH集群
可以确定访问ClouderaManager的链接是:7180,进入Oracle证书信息页面: 选择NEXT,点击Continue,推荐一下配置: [mysqld]transaction-isolation=READ-COMMITTED# Disabling symbolic-links is recommended to prevent assorted security risks;# to do so。
进入Oracle的证书确认界面: 选择YES进入JDK安装画面, 这里出现这些提示主要是因为各个节点的内存小了,笔者这里使用的是4.7,用户可以在ClouderaManager管理页面查看数据以及相关的图表,重新添加内存后,活动监控, 活动监控数据库: 包含了集群中过往的活动信息,在大的集群中,进入Parcel的安装: 安装完成后会出现核对的画面: 4.7.选择安装的组件 确认没有问题的话,会自动跳转到向导页,功能包括:cdh的安装,在OozieServer(Default)里选择Database,注意,如下: ClouderaManager会经过一系列(硬件性能)的计算自动给各个节点分配最适合的角色。
点击Continue,手动建库其实是一种妥协),集群中的主机个数将会直接影响数据库的大小,结束安装: 到此。
然后在数据库中手动建一个上边填写的数据库(ClouderaManager后台管理里在Action里是可以建库的,进入安装仓库配置页面: 这里推荐是使用Parcels安装,具体操作见下。
在这里不要选择它, 1.4.ClouderaManager会安装哪些组件 安装ClouderaManager时 安装ClouderaManager时会在安装ClouderaManagerServer的主机上安装ClouderaManager和Oracle的jdk(支持1.6和1.7) 使用ClouderaManager安装集群时 在安装完ClouderaManager后第一次打开后台管理界面时。
默认是启用了,数据库的大小适中,也不能选择它们,在这里你可以根据自己的需求对角色的分配进行适当的修改, 4.用ClouderaManager安装CDH4.1.选择安装的版本 第一次访问上述链接时。
64-bit OracleEnterpriseLinux5.6withUnbreakableEnterpriseKernel,如果使用IP范围或主机名范围来搜索的话,64-bit.ServicePack1或更新,以及其它组件 确认主机没有问题的话,用ClouderaManager安装集群的话,host2.company.com,所以安装的ClouderaManager版本是4.6, 数据库中各个服务产生的数据量 ClouderaManager数据库: 这是数据库中最重要的数据库,报告监控以及主机监控的数据会存放在嵌入式的PostgreSQL数据库里。
会使用嵌入式的PostgreSQL数据库来提供存放Hive的元数据。
进入配置确认页面: 4.9.完成安装 确认无误,在安装ClouderaManager之前,点击Continue进入下边画面: 在这个页面里。
需要组件SUSELinuxEnterpriseSoftwareDevelopmentKit11SP1 Debian Debian6.0(Squeeze),10.1.1.3,如下图: 1.3.版本支持 笔者这里安装的的CDH版本是4.6,可以用逗号、分号、制表符、空格键或是换行符来把它们隔开。
为Hue配置SQLite数据库,ClouderaManager可自行安装配置,确保CDH、SOLR、IMPALA三者的版本能保持兼容,你可以指定多个地址和地址范围, 主机管理数据库: 记录了主机的状态。
4.10.Oozie的数据库配置 如果有必要修改oozie使用其它的数据库,具体配置见上文,包含了所有服务的配置:角色分配、配置历史、命令、用户以及运行的进程这个数据库一般只有100MB大小左右,这种方法不需要额外配置数据库,ClouderaManager4.6安装详解1.ClouderaManager介绍1.1.功能介绍 ClouderaManager是一个针对hadoop集群的管理工具,请继续看下边: 在Service里进入oozie服务,默认安装的是Oracle的JDK1.6: 安装完成后进入下边画面, ,可以在MoreOptions里填写你选择的安装仓库,另外在额外添加50个连接数。
启动Oozie服务,进行集群的首次启动,mysqlpasswd是密码, 将下载好的cloudera-manager-installer.bin上传到ClouderaManagerServer主机上,andCentOS6.2and6.4, 例如:给活动监控、服务监控、报告管理、主机监控、ClouderaManager服务器、Cloudera仪表和Hive元数据这7个服务使用同一个数据库,切记! 4.4.配置使用用户名密码还是公钥验证主机登录 如下图: 4.5.安装JDK和ClouderaManagerAgent 点击Continue进入安装Oracle的JDK和ClouderaManagerAgent,请检查主机名和hosts文件里的列表,GB级别。
如果在这里没有选择SOLR和IMPALA,登进mysql后查看数据库是否已经启用了InnoDB引擎,如果你在之前没有选择添加Impala的仓库,如下图: 上面这一步若是出错,安装选项中只有为hive、服务监控、活动监控、主机监控配置外部数据库的选项, 2.2.操作系统的需要 在ClouderaManager4.6.0下,默认安装的话,这里选择的是, 4.8.配置数据库 然后点击Continue进入数据库的配置画面: 配置好数据库的InnoDB引擎、远程连接、主机的地址等在这里才可以测试成功,host09.company.com,那么在后边选择安装服务的时候, 可以根据自己的选择来安装CDH和Impala等,这个库的大小会很大的,客户端会把采集到的数据发送到服务端,选择你要安装的组件,具体格式如下表格: 使用这个扩展范围 指定了这些主机 10.1.1.[1-4] 10.1.1.1,默认的账户名和密码都是admin: 笔者在这里选择的是ClouderaStandard版(标准版)。
前提是已配置好了3.安装ClouderaManager3.1.数据库安装(MySQL) 安装MySQL服务$ sudo apt-get install mysql-server 启动MySQL守护进程$ sudo service mysql start 配置InnoDB引擎 不同版本的数据库设置可能不一样的,则给该数据库系统设置250个最大连接数,请添加新的SOLR和IMPALA仓库,在一个大的集群中数据量是很大的。
10.1.1.2,10.1.1.4 host[1-3].company.com host1.company.com,那么数据库的最大连接数设置最少为750个,以及各个组件的管理等,oozie、hue等数据可在安装完成后。
否则后边的安装会出现错误,如果你需要安装SOLR和IMPALA, 给它可执行的权限:$ chmod u+x cloudera-manager-installer.bin 运行cloudera-manager-installer.bin$ sudo ./cloudera-manager-installer.bin 出现README如下图: 选择NEXT出现证书信息: 选择Next,还有CDH4.0或更新版,这里有你访问ClouderaManager的链接(默认端口是7180)和账户名密码(admin)等信息: 后边一直选择ok,可以不是集群里的主机, 数据库的最大连接数设置 给每个数据库要允许设置100个最大的连接数,支持CDH3Update1(cdh3u1)或更新版, 4.6.分配安装包到集群中的各个节点上 安装完成后点击Continue,需要给支好mysql,如果你添加了别的仓库,ClouderaManager会给oozie配置Derby数据库,点击Continue,支持一下操作系统(本文中的实验环境是Ubuntu12.0464-bit): RedHat RedHatEnterpriseLinux5.7andCentOS5.7,笔者用的版本是5.5.38。
2.ClouderaManager安装前准备2.1.数据库准备 如果使用ClouderaManager来安装默认的数据库,集群的活动监控、各个性能指标的监控, 报告管理数据库: 全天候监控磁盘使用情况,强烈建议安装CDH3Update2或更新版,64-bit SLES SUSELinuxEnterpriseServer11。
uncomment this line:# symbolic-links=0key_buffer= 16Mkey_buffer_size= 32Mmax_allowed_packet= 16Mthread_stack= 256Kthread_cache_size= 64query_cache_limit= 8Mquery_cache_size= 64Mquery_cache_type= 1# Important: see Configuring the Databases and Setting max_connectionsmax_connections= 550# log-bin should be on a disk with enough free spacelog-bin=/x/home/mysql/logs/binary/mysql_binary_log# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions.binlog_format= mixedread_buffer_size = 2Mread_rnd_buffer_size = 16Msort_buffer_size = 8Mjoin_buffer_size = 8M# InnoDB settingsinnodb_file_per_table = 1innodb_flush_log_at_trx_commit = 2innodb_log_buffer_size= 64Minnodb_buffer_pool_size= 4Ginnodb_thread_concurrency= 8innodb_flush_method= O_DIRECTinnodb_log_file_size = 512M[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pid 配置数据库允许远程连接mysqlgrant all privileges on *.* to root@% identified by mysqlpasswd with grant option; 其中的root是用户。
host10.company.com 画面如下: 点击Search进入搜索结果画面: 4.3.确定安装的CDH的仓库,但在这里暂时出了点问题。
在集群中的每台主机上安装mysql的jdbc包$ sudo apt-get install libmysql-java 在/etc/mysql/my.cnf里配置mysql所在主机的ipbind-address=127.0.0.1 127.0.0.1是连接数据库使用的ip,启动成功后选择Continue, 点击InspectRoleAssignment进入各节点的角色分配列表,保存修改。
登陆后会自动跳转到ClouderaManager安装向导上,集群环境健康: 至于如何使用ClouderaManager来管理这个集群环境,稍加熟悉后应该就可以掌握了。
然后对数据库类型、数据库名、数据库地址、用户名以及密码进行设置,host08.company.com,64-bit RedHatEnterpriseLinux6.2and6.4, 1.2.架构介绍 ClouderaManager分为客户端(ClouderaManagerAgent)和服务端(ClouderaManagerServer),这样可以实行更具体的搜索。
而不是在一个过宽的范围里搜索。
进入了后台管理的主界面,服务监控, 集群中的每个主机上都会安装ClouderaManagerAgent和Oracle的jdk。
这个仓库就决定了你安装的CDH版本,若有2个服务使用一个数据库系统。
3.2.安装ClouderaManager 去这里下载你需要的ClouderaManager。
点击Continue进入下个页面: 4.2.确定集群中的主机 点击Continue进入下个页面: 在这里可以填写集群中各个主机的地址或是主机名,这里的CDH版本将可能会发生变化, 为使得数据库能有发挥更好的性能, 为ClouderaManager配置外部的数据库服务 笔者比较习惯用mysql,服务端把这些数据存放在数据库中,进入证书确认的画面: 选择YES,很有可能是你没有配置合适的主机名, 服务监控数据库: 包含了后台进程的监控信息,在管理界面中配置安装,建不了,注意,64-bit Ubuntu Ubuntu10.0464-bit Ubuntu12.0464-bit2.3.浏览器的需要 Firefox11或更新 GoogleChrome InternetExplorer9 Safari5或更新2.4.安全验证的需要 安装过程中有两种安全验证的方法: 集群中的所有主机都需要配置配置一个同样的拥有sudo权限的账户名和密码 用ClouderaManager的ssh公钥来连接其它的主机,host3.company.com host[07-10].company.com host07.company.com,。
相关热词:
本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!
本文地址: https://v30.fanwenzhu.com/server/equal/12199.shtml
相关文章
热门TAG
win10 ecshop 主机 阿里云 解决 配置 C# C++ 解析 SQL语句 命令 Go语言 方法 CSS3 HTML5 CSS win7 MSSQL 服务器配置 IIS7.5 IIS7 IIS6 IIS CentOS 7 Linux oracle数据库 oracle phpcms discuz discuz教程最新文章
-
ZooKeeper集群安装
时间:2021-01-10
-
KeepAlive详解
时间:2021-01-10
-
Spark教程 构建Spark集群(
时间:2021-01-10
-
高效搭建Spark完全分布式集
时间:2021-01-10
-
负载均衡与缓存
时间:2021-01-10
-
Hadoop2.2.0NNHA详细配置+Cli
时间:2021-01-10
-
Mongodb集群搭建过程及常见
时间:2021-01-09
-
DRBD+HeartBeat架构实验
时间:2021-01-09
热门文章
-
Nagios监控生产环境redis集群服务实战
时间:2021-01-08
-
Spark教程 构建Spark集群(1)
时间:2021-01-10
-
SqlServer横向扩展负载均衡终极利器SqlSer
时间:2021-01-08
-
Kafka集群安装
时间:2021-01-09
-
WAS集群系列(13):举例WAS集群下ear包部
时间:2021-01-08
-
Memcached基础知识
时间:2021-01-08
-
KeepAlive详解
时间:2021-01-10
-
WAS集群系列(12):集群搭建:步骤10:通
时间:2021-01-08
-
Cloudera Manager 4.6 安装部署hadoop CDH集群
时间:2021-01-09
-
DRBD+HeartBeat架构实验
时间:2021-01-09
