通常情况下,snappy压缩算法无非是hbase 最好的伴侣,不过这里不介绍 snappy 算法,也不介绍如何安装 snappy,这里只记录如何给 hbase 0.96X-hadoop2版本开启 snappy 支持。如果你在尝试为 hbase 96+hadoop2开启 snappy 压缩的时候遇到
java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.
恭喜你,本文就是你需要的良方妙药,全国包邮的!
网上介绍的资料大多是提供94版本的 hbase的解决方案,包括官方的 wiki,不幸的是小弟一一试过,没有一个是顶用的,诸如:
在 hbase-env.sh 里面
export LD_LIBRARY_PATH或者HBASE_LIBRARY_PATH,这是
不顶用的。
把
hadoop的 lib/native/xxx和 libsnappy.XXX拷贝到 hbase 对应目录下,这也是
不顶用的。
下载 hadoop-snappy自行编译?完全没有必要,因为从hadoop 1.1.X 版本以后 hadoop-snappy 就已经是 hadoop-common 的一部分了。
异常说的很清楚,你的 hadoop native 包不支持 snappy!需要重新编译你的 hadoop 才行。编译填坑指南见
http://dennis-lee-gammy.iteye.com/admin/blogs/2009982,你唯一需要做的就是将
mvn package -Pdist,native -DskipTests -Dtar -rf :hadoop-common
加上 -Drequire.snappy ,剩下的一切照旧。
然后,打完,收工。
分享到:
相关推荐
hadoop2.6及hbase0.96伪分布式安装配置文件
hbase 的java代码 集合 hbase 0.96
资源名称:hadoop2完全分布式及整合hbase0.96安装文档 内容简介: 首先说一下这个安装过程需要注意的地方一、使用新建用户可能会遇到的问题(1)权限问题:对于新手经常使用root,刚开始可以使用,...
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解 用于解决分布式集群服务器
本文档由王家林老师详细的介绍了 hadoop2.2完全分布式 及整合hbase0.96 安装步骤,图文并茂。
hadoop2完全分布式最新高可靠安装文档及整合hbase0.96中文安装详解,新手必备!
hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解.pdf
Hadoop2.2.0+HBase.96+Hive0.12简单集群环境的搭建
用于生产环境的hadoop2.2.0和hbase0.96.2、hive0.12的集成安装 经过测试环境
hbase-0.96jar包 hbase-0.96 hbase-0.98都可以用,
NULL 博文链接:https://cctype.iteye.com/blog/2035320
NULL 博文链接:https://kfcman.iteye.com/blog/2430964
1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna
CentOS-6.4 64位系统下hadoop-2.2.0+hbase-0.96+zookeeper-3.4.5 分布式安装配置
大数据技术基础实验报告-HBase安装配置和应用实践
HBase 0.96 -> Hbase 0.99 的压缩库。 它实现了 安装 运行 Maven package mvn package 并将生成的 jar 文件复制到 HBase 的 CLASSPATH 中。 这通常在 /etc/hbase/hbase-env.sh 中定义 然后在hbase shell中更改TSDB...
NULL 博文链接:https://qindongliang.iteye.com/blog/2267681