Hadoop构造 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , Hadoop Hadoop的组成 HDFS:分布式文件系统,存储海量的数据 MapReduce:并行处理框架,实现任务分解和调度 搭建大学数据仓库,PB级数据的存储,处理,分析,统计的业务 HIVE 只需编写SQL语句转化为Hadoop任务执行 HBASE 放弃事务特性 追求更高的扩展 提供数据的随机读写和 ... 阅读全文 »
Hive 基本原理 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , Hadoop Hive基本原理Hive的体系结构 用户接口 Thrift服务器 元数据存储 阅读全文 »
YARN原理 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , Hadoop YARNYet Another Resource NegotiatorYARN的基本思想:将JobTracker两个主要得功能分离成单独的组件,一个全局的ResourceManager和每个应用对应的ApplicationMaster YARN的组件 ResourceManager 一个纯粹的调度器 ... 阅读全文 »
安装 hadoop YARN 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , Hadoop 安装 hadoop YARNYARN安装简介hadoop的安装简介 hadoop的各个组件均采用XML文件进行配置,这些配置文件都在etc/hadoop子目录中 core-site.xml文件用于配置通用属性 hdfs-site.xml文件用于配置HDFS属性 mapred-site.xml文件用于 ... 阅读全文 »
License消除方案 发表于 2017-05-24 | 更新于 2018-05-29 | 分类于 CDH , Error License过期后强制前端消除不显示License 告警提示文字消除解压 tar -xf properties.0508.tar在路径/usr/share/cmf/下替换备份原文件:cp message_zh_CN.properties message_zh_CN.properties.bakcp ... 阅读全文 »
CM日志迁移 发表于 2017-05-24 | 更新于 2018-05-29 | 分类于 CDH , Error CM日志迁移 先停 Cloudera Management Service. Actions > Stop. 改log 地址配置 sudo service cloudera-scm-server stop parted -s $DEVICE mklabel gpt mkpart primar ... 阅读全文 »
HBase架构详解 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , HBase HBase架构详解Hbase架构Hbase组件client 整个Hbase集群的入口 使用Hbase RPC机制与HMaster和HRegionserver通信 与HMaster通信进行管理类的操作 与HRegionserver通信进行读写类操作 包含访问HBase的接口,并维护cache来加快对H ... 阅读全文 »
MapReduce on HBase 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , HBase MapReduce on HBaseHBase自带MapReduce工具使用导入环境变量 HADOOP_HOME HBASE_HOME HBase自带命令Tsv与BulkLoadSqoop集成HBaseHBase表数据迁移HDFS数据导入HBaseHBase BulkLoadBulkLoad源码分析 阅读全文 »
HBase入门 发表于 2017-05-24 | 更新于 2017-09-24 | 分类于 CDH , HBase HBase入门HBase概述–Hbase表特点 大:一个表可以有数十亿行,上百万列 面向列:面向列(族)的存储和权限访问,列(族)独立索引 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏 数据类型单一:HBase的数据类型都是字符串 无模式:每行都有一个可以排序的主键和 ... 阅读全文 »
impala hdfs hbase等用户的nproc的设置 发表于 2017-05-24 | 更新于 2018-05-29 | 分类于 CDH , CM 请参考下面的方法,检查一下impala/hdfs/hbase等用户的nproc的设置是否符合cloudera推荐的值 ddp-cm:/dev/shm # vi /etc/security/limits.conf # /etc/security/limits.conf##Each line descr ... 阅读全文 »