reload_UDF 发表于 2017-06-30 | 更新于 2018-05-23 | 分类于 CDH , Hive 步骤就是先在beeline drop对应函数然后本地(每个hiveserver 和hivemetastore机器上) 替换对应jar包然后 beeline 里面 打reload;最后重新create 阅读全文 »
Cloudera部署CentOS 发表于 2017-06-30 | 更新于 2018-05-23 | 分类于 CDH , Installation 操作系统:CentOS 6.5CM版本:CM5.10.041CDH版本:CDH5.10.041使用version用户对集群进行部署 服务器配置 关闭防火墙 配置时钟同步服务 检查数据盘是否挂载 安装的机器ip:192.168.86.119,192.168.86.120, 安装操作系统,建议对 ... 阅读全文 »
Cloudera部署SUSE 发表于 2017-06-27 | 更新于 2018-05-29 | 分类于 CDH , Installation 操作系统:SUSE11 SP3CM版本:CM5.11.0CDH版本:CDH5.10.1使用root用户对集群进行部署 服务器配置 关闭防火墙 配置时钟同步服务 检查数据盘是否挂载 安装的机器ip:192.168.65.40,192.168.65.41,192.168.65.42,192.168 ... 阅读全文 »
hbase 连接超时 发表于 2017-06-23 | 更新于 2018-05-23 | 分类于 CDH , Error hbase 连接超时最开始是inood块权限有问题6月 7, 早上8点24:55.119分 WARN org.apache.hadoop.security.UserGroupInformation PriviledgedActionException as:hbase (auth:SIM ... 阅读全文 »
Hive Metastore Server 僵死 发表于 2017-06-23 | 更新于 2017-09-24 | 分类于 CDH , Hive Hive Metastore Server 僵死现状: 在Hive Metastore Server上的角色只要停止服务,就无法再启动 开头怀疑是cloudera-scm-agent 出问题877 2017-05-24 15:50:05 /etc/init.d/cloudera-scm-agent ... 阅读全文 »
HDFS-diskbalance 发表于 2017-06-23 | 更新于 2018-05-29 | 分类于 CDH , Error HDFS-diskbalance问题开头怀疑是sentry的权限问题,就也给hdfs用户hive元数据库的admin权限create role hdfs_role;grant role hdfs_role to group hdfs;grant all on URI 'hdfs:///sy ... 阅读全文 »
hive create table 发表于 2017-06-23 | 更新于 2017-09-24 | 分类于 CDH , Hive 创建表的语句:Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (c ... 阅读全文 »
选择和配置数据压缩 发表于 2017-06-23 | 更新于 2017-09-24 | 分类于 CDH , Spark Cloudera平台安装Apache Spark 2.0 Beta版本兼容信息安装步骤 阅读全文 »
Recv-Q 发表于 2017-06-23 | 更新于 2018-05-23 | 分类于 CDH , Error Recv-Q:表示收到的数据中还有多少没有被进程取走(通过recv) Send-Q:表示需要发送的数据还有多少没有被发出 所以,一般来说这两个值都是0,如果不为0且持续增长,那就表明程序出现了问题。 比如Recv-Q的数字持续增长,表示没有进程去取这些收到的数据。比如使用select+recv来收数 ... 阅读全文 »
Cloudera Manager API 发表于 2017-06-23 | 更新于 2017-09-24 | 分类于 CDH , Shell Cloudera Manager APICM 5.10 APICloudera Manager API 示例:重启cluster集群的impala服务 curl -X POST -u user:'xxx' http://192.168.65.50:7180/api/v15/clust ... 阅读全文 »