操作系统:CentOS 6.5
CM版本:CM5.10.041
CDH版本:CDH5.10.041
使用version用户对集群进行部署
服务器配置
- 关闭防火墙
- 配置时钟同步服务
- 检查数据盘是否挂载
安装的机器ip:
192.168.86.119,192.168.86.120,
- 安装操作系统,建议对操作系统盘做RAID1
- 如果不能连接互联网,先创建OS的repository,以便yum或zypper可以访问OS镜像
- 为了使集群中各个节点之间能互相通信,需要静态或动态配置节点的IP地址。如果使用动态配置,请安装DHCP和DNS服务器,具体请参见对应软件的安装文档,此不赘述;如果使用静态IP地址,请正确配置各节点的IP,并在/etc/hosts配置所有节点的静态DNS解析。
以cm节点为例:/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/hosts样例
- 关闭并禁用防火墙
/etc/init.d/iptables stop
/etc/init.d/iptables status
/sbin/chkconfig --level 2345 iptables off
- 关闭SELinux
echo "SELINUX=disabled" > /etc/sysconfig/selinux ;
- 重启网络服务,并初始化网络
/etc/init.d/network restart
- 修改transparent_hugepage参数,这一参数默认值可能会导致CDH性能下降
在/etc/init.d/after.local中增加一行:if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi
- 禁用交换内存
vi /etc/sysconfig/selinux
vi /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
vi /sys/kernel/mm/redhat_transparent_hugepage/defrag
sudo sysctl vm.swappiness=0
vim /etc/sysctl.conf
reboot - 如果机器配置有双网卡,可以做双网卡绑定;