Windows Kerberos客户端配置并访问CDH 发表于 2018-05-23 | 更新于 2018-05-29 | 分类于 CDH , CM Windows Kerberos客户端配置并访问CDH本文档描述Windows Server2008 R2(windows的内核版本是6.1,与windows 7相同)下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web ... 阅读全文 »
裸金属主机部署cdh 发表于 2018-05-23 | 更新于 2018-05-29 | 分类于 CDH , Installation 资源池–裸金属主机部署cdh 对操作系统盘做RAID1 需要配置OS的repository,以便yum可以访问OS镜像[需要 createrepo httpd postgresql91 python-psycopg2 ] Usage: Local YUM [Adept for RHEL/Cent ... 阅读全文 »
jce不匹配导致kerberos失效 发表于 2017-11-27 | 更新于 2018-05-23 | 分类于 CDH , Error jce不匹配[27/Nov/2017 14:46:29 +0000] 14033 Monitor-GenericMonitor throttling_logger ERROR Error fetching metrics at 'http://ddp-dn-077.cmdmp.com ... 阅读全文 »
kerberos迁移以及问题汇总 发表于 2017-11-24 | 更新于 2018-05-29 | 分类于 CDH , Kerberos MIT ddp-dn-01:~/hct # cat /etc/krb5.conf [libdefaults]# default_realm = EXAMPLE.COM default_realm = CMDMP.COMdns_lookup_realm = falsedns_lookup_kdc ... 阅读全文 »
华为服务器网卡漂移问题 发表于 2017-11-20 | 更新于 2018-05-29 | 分类于 CDH , Error 华为服务器网卡漂移问题在物理机上碰到过,机器重启后,网卡的顺序就变了一般第一次启动的时候会变,第一次启动之后系统识别了网卡,后面就不会乱了 但是这个,我昨天把很多台虚拟机多次重启尝试,发现会不停的跳网卡变是因为系统安装好的时候,系统未正确识别网卡,或者识别的名称有问题 解决方法改一个配置文件,把华为 ... 阅读全文 »
Namenode与JN同步失败 发表于 2017-11-07 | 更新于 2018-05-23 | 分类于 CDH , Error namenode无故Shutdown,可能的原因是当时正好是jn同步数据并合并到fsimage时失败 Remote journal 10.200.60.113:8485 failed to write txns 11564575193-11564575195. Will try to write t ... 阅读全文 »
mysql命令 发表于 2017-10-30 | 更新于 2018-05-23 | 分类于 MySQL DDL 数据定义语言 TPL 事务处理语言 DCL 数据控制语言 DML 数据操作语言 增加数据库处理效率,减少应用响应时间 减少数据库服务器负载,增加服务器稳定性 减少服务器间通讯的网络流量 join 内连接 inner 内连接 inner join 基于连接谓词将两张表(a,b)的列组 ... 阅读全文 »
S3服务中oozie配置 发表于 2017-10-24 | 更新于 2018-05-23 | 分类于 CDH , S3 hadoop credential create fs.s3a.access.key -provider jceks://hdfs/tmp/file.jceks -value BBBA74VJ69J8I4N0GW3Ohadoop credential create fs.s3a.secret.key ... 阅读全文 »
Yarn队列必须为叶队列 发表于 2017-10-14 | 更新于 2018-05-23 | 分类于 CDH , YARN Yarn队列必须为叶队列INFO : Compiling command(queryId=hive_20171014104747_ef9adfe5-dd2b-493b-8557-7bce196ebf06): select count(*) from cdmp_dw.td_cms_content_c ... 阅读全文 »
flume agent任务失败 发表于 2017-09-24 | 更新于 2018-05-29 | 分类于 CDH , Error flume agent任务失败flume日志报错: PriviledgedActionException as:hadoop@xxxxx.COM (auth:KERBEROS) cause:java.io.IOException: Couldn't setup connection fo ... 阅读全文 »