sed 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 Linux , sed sed流处理编辑器 文本或管道输入 读入一行到模式空间(临时缓冲区) sed命令处理(处理后接着读下一行) 输出到屏幕 文本处理正则选定文本sed进行处理 格式 命令行格式 $sed [option] 'command' file(s) optians: -e ; -n comma ... 阅读全文 »
spark-streaming 与kafka的结合 发表于 2017-05-24 | 更新于 2018-05-23 | 分类于 CDH , Error spark-streaming 与kafka的结合升级CDH到5.10后 spark-steaming 从kafka获取消息就报错 原因:高版本的kafka从低版本的kafka server端连接不兼容 因为在使用spark-streaming调用kafka的时候,会由cloudera来调用相应的组 ... 阅读全文 »
shell编程 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 Linux , shell 在shell编程中,”EOF“通常与”<<“结合使用,“<<EOF“表示后续的输入作为子命令或子shell的输入,直到遇到”EOF“,再次返回到主调shell,可将其理解为分界符(delimiter)。既然是分界符,那么形式自然不是固定的,这里可以将”EOF“可以进行自定义, ... 阅读全文 »
Namenode日志存储空间问题 发表于 2017-05-24 | 更新于 2018-05-23 | 分类于 CDH , Error Namenode日志存储空间问题 v1.0 updated:2017-04-18 何常通 因为Cloudera License 过期导致Navigator组件不可用 NameNode会定时的吧audit信息写好后传给Cloudera Manage Server这台服务器,由于Navigator不可 ... 阅读全文 »
因license过期受到影响的功能 发表于 2017-05-24 | 更新于 2018-05-29 | 分类于 CDH , Error 因license过期受到影响的功能 为Cloudera Manager配置外部验证功能 Cloudera Manager支持对内部数据库和外部服务的用户身份验证。 查看和恢复配置更改功能 无论何时更改并保存服务或角色实例或主机的一组配置设置,Cloudera Manager将保存先前设置的修订版本 ... 阅读全文 »
大数据平台-Zabbix agent恢复 发表于 2017-05-24 | 更新于 2018-05-29 | 分类于 CDH , Error zabbix agent 进程恢复 v1.1 updated:2017-05-30 Nameless13 因系统重启后,zabbix agent没有设置开机启动所以会导致监控失效ps aux |grep zabbixcd /etc/init.d/ls |grep zabbixcd /etc/ini ... 阅读全文 »
cloudera-scm-agent 服务挂掉 发表于 2017-05-24 | 更新于 2018-05-29 | 分类于 CDH , Error cloudera-scm-agent 服务挂掉cloudera-scm-agent日志查看需要sudo权限sudo ls -l /var/log/cloudera-scm-agent/cloudera-scm-agent.log cloudera-scm-agent.out cmf_listener ... 阅读全文 »
HQL执行过程 发表于 2017-05-24 | 更新于 2018-05-29 | 分类于 CDH , Hadoop MapReduce 的容错机制 重复执行 重复4次后失败 推测执行 保证不会因为某一两个tasktracker失败而影响整个计算 数据仓库是一个面向主题的,集成的,不可更新的,随时间不变化的数据集合,它用户支持企业或组织的决策分析处理 数据源:业务数据系统,文档系统,其他数据数据存储及管理: 抽取 ... 阅读全文 »
Hadoop 用户行为分析项目之应用概述 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , Hadoop hadoop用户行为分析项目之应用概述应用概述hadoop业务场景,应用场景 业务场景: 时延 吞吐量 应用场景: MapReduce计算模型 海量数据的离线分析 静态数据源 用户行为分析平台搭建注意事项: 高可用性 NNA和NNS节点配置注意事项<?xml version=&quo ... 阅读全文 »