Hbase ZK锁表 发表于 2017-06-23 | 更新于 2018-05-23 | 分类于 CDH , Error Hbase ZK锁表开发反复create drop table 导致zk的数据不同步首先到Zookeeper中/hbase/table-lock 和/hbase/table 两个目录删除对应的表 rmr /hbase/table-lock/user_order_info 之后重启Hbase集群,发现 ... 阅读全文 »
hive impala 培训 发表于 2017-06-23 | 更新于 2018-05-23 | 分类于 CDH , Notes $ADIR is a shortcut that points to the /home/training/training_materials/analyst directory Click Select files to bring up a file browser. By default, ... 阅读全文 »
添加HiveServer2角色 发表于 2017-06-23 | 更新于 2017-09-24 | 分类于 CDH , Hive 添加HiveServer2角色HIVE–>实例–>添加角色实例–>选择HiveServer2添加一台主机 ddp-dn-12.cmdmp.com 192.168.65.64添加成功后,会显示没有该角色的keytab到在节点上选择操作–> 停止主机上的角色成功后选择操作–& ... 阅读全文 »
Python文件处理 发表于 2017-06-15 | 更新于 2017-09-24 | 分类于 python Python文件处理文件打开方法: open(name[,mode[buf]])name: 文件路径mode: 打开方式buf: 缓冲buffering大小 文件读取方式: read([size]):读取文件(读取size个字节,默认读取全部) readline([size]):读取一行 read ... 阅读全文 »
lrzsz大文件传输 发表于 2017-06-05 | 更新于 2018-05-29 | 分类于 CDH , Error rz、sz命令结合方便的上下传文件,但经过跳板机之后直接rz、sz一个稍大的文件会在上传一部分后退出并显示一堆乱码,这是因为这中间有控制字符的原因。 解决办法: 加参数-e忽略控制字符:rz -e和sz -e rz,sz是Linux/Unix同Windows进行ZModem文件传输的命令行工具。 ... 阅读全文 »
Hue隧道访问失效 发表于 2017-06-02 | 更新于 2018-05-29 | 分类于 CDH , Error 判断应该是Django框架中,发送报文的MIME有问题path地址 HUE通过隧道访问HUE通过隧道映射到本地后发现所有的JavaScript文件解析有问题: Refused to execute script from 'http://127.0.0.1:18888/static/de ... 阅读全文 »
介绍 发表于 2017-06-02 | 更新于 2018-05-23 | 分类于 CDH , Notes host hostname ntp /etc/hosts cloudera-angent 服务安装 上报日志 角色状态检查 HDFS 本质也是一个文件系统 不过是把单个文件的块大小放大.同时一份数据会备份两次在不同的host上 权限 Sentry HDFS同步 需要解除hive met ... 阅读全文 »
轮询 心跳 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 java 轮询:概括来说是服务端定时主动的去与要监控状态的客户端(或者叫其他系统)通信,询问当前的某种状态,客户端返回状态信息,客户端没有返回或返回错误、失效信息、则认为客户端已经宕机,然后服务端自己内部把这个客户端的状态保存下来(宕机或者其他),如果客户端正常,那么返回正常状态,如果客户端宕机或者返回的是定 ... 阅读全文 »
swap 系统值修改 发表于 2017-05-24 | 更新于 2018-05-23 | 分类于 CDH , Error Impala swapp系统值修改 部分组件HDFS,YARN,HBAS有黄色警告是因为系统默认SWAP默认值为60 导致内存未使用满便使用swap memory导致的,已经修改过配对应系统的配置值为SWAP=0。 echo 0 >/proc/sys/vm/swappinessecho &a ... 阅读全文 »
hive LZO压缩格式支持 发表于 2017-05-24 | 更新于 2018-05-23 | 分类于 CDH , Error LZO配置 hive 因为仅仅添加了LZO压缩格式的配置路径,却没有导入暂时先删除LZO配置ddp-hb-01:~ # beeline -u 'jdbc:hive2://10.200.60.99:10000/yanfa;principal=hive/ddp-hb-01.cmdmp.co ... 阅读全文 »