hbase实战 hbase权威指南哪本好书
最适合使用Hbase存储的数据是非常稀疏的数据(非结构化或者半结构化的数据)。Hbase之所以擅长存储这类数据,是因为Hbase是column-oriented列导向的存储机制,而我们熟知的RDBMS都是row- oriented行导向的存储机制(郁闷的是我看过N本关于关系数据库的介绍从来没有提到过row- oriented行导向存储这个概念)。在列导向的存储机制下对于Null值得存储是不占用任何空间的。比如,如果某个表 UserTable有10列,但在存储时只有一列有数据,那么其他空值的9列是不占用存储空间的(普通的数据库MySql是如何占用存储空间的呢?)。 Hbase适合存储非结构化的稀疏数据的另一原因是他对列集合 column families 处理机制。 打个比方,ruby和python这样的动态语言和c++、java类的编译语言有什么不同? 对于我来说,最显然的不同就是你不需要为变量预先指定一个类型。Ok ,现在Hbase为未来的DBA也带来了这个激动人心的特性,你只需要告诉你的数据存储到Hbase的那个column families 就可以了,不需要指定它的具体类型:char,varchar,int,tinyint,text等等。 Hbase还有很多特性,比如不支持join查询,但你存储时可以用:parent-child tuple 的方式来变相解决。 由于它是Google BigTable的 Java 实现,你可以参考一下:google bigtable 。
解读Hadoop Hbase适合存储哪类数据,参考:http://edu.51cto.com/course/course_id-3819.html
为啥要看书捏,你需要了解hbase 的原理和存储方式以及设计方式,剩下的就是把mysql的数据导出为文件,然后上传到hdfs上,读取文件,将内容写入hbase,当然这只是其中一种方式,你还可以:
1、写mapreduce 直接读取mysql数据写入hbase
2、用hive将hbase 关联,将mysql的数据SYNC到hive中,在hbase中也就存在了。(SYNC是一个同步工具)
《HBase原理与实践》、《HBase实战》、《HBase权威指南》、《HBase企业应用开发实战》、《HBase入门与实践》。以上书籍都是与hbase相关的专业性书籍,作者由浅入深地介绍了hbase的技术与应用。
1、《HBase原理与实践》:这是一本深入介绍HBase系统的书籍,由HBase PMC成员与网易资深工程师倾力打造,多位技术专家联袂推荐。本书不仅用大量图片详细解剖HBase内核,还用案例展示了HBase的开发运维技巧。
2、《HBase实战》:本书在介绍HBase核心工作原理的基础上,使用大量篇幅以案例的形式介绍HBase集群实践相关方法。相信通过这些方法的实践掌握,结合理论知识,完全可以运维好大规模的HBase集群。
3、《HBase权威指南》:本书探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;使用本地Java客户端,或者通过应用编程接口的网关服务器来访问HBase。
4、《HBase企业应用开发实战》:本书系统介绍HBase的功能使用、框架设计、基本原理和高级特性;详细讲解使用HBase设计大型数据应用系统的实践方法和技巧;深刻总结系统运维、监控和性能调优的最佳实践。
5、《HBase入门与实践》:全书共分为3个部分。前两个部分分别介绍了分布式系统和大规模数据处理的发展历史;第三部分通过真实的应用和代码示例以及支持这些实践技巧的理论知识,进一步探索HBase的一些实用技术。
《HBase权威指南》探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;使用本地Java客户端,或者通过提供了REST、Avro和Thrift应用编程接口的网关服务器来访问HBase;了解HBase架构的细节,包括存储格式、预写日志、后台进程等;在HBase中集成MapReduce框架;了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。
《HBase权威指南》适合使用HBase进行数据库开发的高级数据库研发人员阅读。
桓萱益白: 《HBase权威指南》探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;使用本地Java客户端,或者通过提供了REST、Avro和Thrift应用编程接口的网关服务器来访问HBase;了解HBase架构的细节,包括存储格式、预写日志、后台进程等;在HBase中集成MapReduce框架;了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等.《HBase权威指南》适合使用HBase进行数据库开发的高级数据库研发人员阅读.
和龙市19687371535: 问一下,有什么好的Hbase书籍介绍一下 ?
桓萱益白: Hbase 方面的中文资料比较少,应该算是比较新的方向吧,一般推荐的是《Hbase权威指南》,而且没有中文,看起来有点痛苦,不过理解起来不会困难,其次想多了解Hbase 就是去Hbase官网的文档了,里面的东西还比较全的.
和龙市19687371535: hbase 实际生产环境中怎么用 - ?
桓萱益白: 步骤如下: 1:从HBase集群中复制一份Hbase部署文件,放置在开发端某一目录下(如在/app/hadoop/hbase096目录下). 2:在eclipse里新建一个java项目HBase,然后选择项目属性,在Libraries->Add External JARs...,然后选择/app/hadoop/hbase096/...
和龙市19687371535: 如何hbase如何预先划分region - ?
桓萱益白: 1.取样,先随机生成一定数量的rowkey,将取样数据按升序排序放到一个集合里 2.根据预分区的region个数,对整个集合平均分割,即是相关的splitKeys. 3.HBaseAdmin.createTable(HTableDescriptor tableDescriptor,byte[][] splitkeys)可以指定预分区的splitKey,即是指定region间的rowkey临界值.
和龙市19687371535: 什么时候才应当使用HBase - ?
桓萱益白: 在使用HBase一定要明白HBase的适用场合,因为HBase并非适用于每种情况.首先,要确认有足够多的数据存入HBase.如果有几亿或者几十亿条记录要存入HBase,那么HBase就是一个正确的选择;否则如果你仅有几百万条甚至更少的数据...
和龙市19687371535: 如何把rdd数据写入hbase?
桓萱益白: 1.在hbase中创建一个表 例如:create 'test','info' 2.配置环境 在hadoop的安装目录下找到hadoop.env.sh配置文件,将一文件加入到此配置文件中 (export HBASE_HOME=/usr/hbase export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.94....
和龙市19687371535: 求助帖,hbase新手,windows中的java怎么连接linux中的hbase - ?
桓萱益白: 一、新建本地java工程 file->new->java project 二、添加jar包和配置文件1、添加JAR包 右击Propertie在弹出的快捷菜单中选择Java Build Path对话框,在该对话框中单击Libraries选项卡,在该选项卡下单击 Add External JARs按钮,定位到$...
和龙市19687371535: 如何使用eclipse maven构建hbase开发环境 - ?
桓萱益白: 环境需求 Eclipse版本:eclipse-jee-mars-1 操作系统:Ubuntu15.04 Hadoop:1.2.1 HBase:0.94.13 搭建过程 运行Eclipse,创建一个新的Java工程“hbaseTest”,右键项目根目录,选择 “Properties”->“Java Build Path”->“Library”->“Add ...
和龙市19687371535: hbase是怎样删除和修改数据的 - ?
桓萱益白: HBase提供了对HBase进行一系列的管理涉及到对表的管理、数据的操作java api. 常用的API操作有: 1、 对表的创建、删除、显示以及修改等,可以用HBaseAdmin,一旦创建了表,那么可以通过HTable的实例来访问表,每次可以往表里增加数据
和龙市19687371535: HBase 的使用有哪些限制,不适用的场景有哪些??
桓萱益白: 目前来说,我认为hbase版本还不稳定,使用起来还是会出现很多潜在的bug,你看看淘宝的使用经验就知道了,所以使用hbase的限制: 1. 要有比较强大的IT团队,且有一定的nosq 库表的设计经验,否则你无法发挥hbase的性能优势 2. hbase的...