ITeye博客

青而不涩

半点玻璃心 · 共 13 篇文章

btrace annotation简单翻译

最近研究btrace动态调试线上服务,无奈英文很差,于是乎想到把官方文档小小翻一下,正好学习英语,各位大神请轻拍。 原文地址:https://kenai.com/projects/btrace/pages/UserGuide#btrace_anno。这篇文章可能一下子写不完,先挖个坑,每天填一点。 每一段上面为原文,下面为译文。 Method Annotations @com.sun.btrace.annotations.OnMethod annotation can be used to specify target class(es), target method(s) and "loc…

2015-01-23 12:13 · btrace · 评论(0)

hbase MemStoreLAB代码浅析-1

本文基于 hbase 0.98x,如果发现源码与你的副本不符合,请检查代码版本。 首先看看 Memstore 的maybeCloneWithAllocator方法 Memstore#maybeCloneWithAllocator private KeyValue maybeCloneWithAllocator(KeyValue kv) { if (allocator == null) {//如果没有启用 mslab,就返回原始对象。 return kv; } int len = kv.getLength();//计算对象长度 Allocation alloc = allocator.allo…

2014-09-30 17:21 · HBASE · Hadoop 2 · 0.98 · 评论(0)

HBase 0.96配置 snappy(绝对有效哦亲)

通常情况下,snappy压缩算法无非是hbase 最好的伴侣,不过这里不介绍 snappy 算法,也不介绍如何安装 snappy,这里只记录如何给 hbase 0.96X-hadoop2版本开启 snappy 支持。如果你在尝试为 hbase 96+hadoop2开启 snappy 压缩的时候遇到 java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. 恭喜你,本文就是你需要的良方妙药,全国包邮的! …

2014-02-12 14:10 · HBASE · Hadoop 2 · 0.96 · 评论(5)

记一次痛苦的 hadoop 2编译过程

经历了一次特别坎坷的 hadoop2.2编译经历,放在这里以备忘,同时 BS 下那些将别人的作品抄来抄去甚至不问准确性和完整性的人。整个过程非常感谢强大的 google,和我的英语老师,弱弱的 BS 下度娘。红色字体是编译 hadoop 源文件时需要依赖的 lib 和注意事项。 首先,我是尝试在64位的 linux 环境上安装 hadoop2.2版本,由于有之前一些些小经验,部署和配置部分还算顺利,但是启动的时候问题就来了,namenode 启动的时候应该打印的 Start namenode on (XXXXXX是你 namenode 所在的主机名),但是 xxxxx 编程了一个特长的,几乎…

2014-01-27 17:26 · Hadoop 2 · 评论(1)

HBase Memstore flush代码阅读笔记-2-由单个 memstore大小超过限制触发的 flush

本代码基于0.96.1.1:http://svn.apache.org/repos/asf/hbase/tags/0.96.1.1 默认情况下,当某个 region 的 memstore 大小达到hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier时,会出发 memstore 的 flush 操作,并reject 客户端写请求。 OperationStatus[] batchMutate(Mutation[] mutations, boolean isReplay) throws IOExcep…

2014-01-23 15:15 · HBASE · 评论(0)

HBase Memstore flush代码阅读笔记-1 -由 lowerlimit 和 upperlimit 触发的 flush

在写请求(put,delete)到达服务端时,服务端(HRegionServer)会将请求按 Region 聚合,并交给具体的 Region 实例进行处理。Region 收到请求后,会剥离 append 请求和 increase 请求单独处理,然后将 put 和 delete 揉一起按批处理。处理之前,会检查整个memstore 的大小。 protected void doBatchOp(final RegionActionResult.Builder builder, final HRegion region, final List<ClientProtos.Action> mutatio…

2014-01-22 18:34 · HBASE · 评论(0)

HBase Memstore配置

2014-01-21 11:09 · HBASE · 评论(0)

HBASE 代码阅读笔记-1 - PUT-3-提交任务2(基于0.96-hadoop2)

看看MultiServerCallable的核心方法,call public MultiResponse call() throws IOException { int countOfActions = this.multiAction.size(); if (countOfActions <= 0) throw new DoNotRetryIOException("No Actions"); MultiRequest.Builder multiRequestBuilder = MultiRequest.newBuilder(); List<CellScannable> cells = nu…

2013-11-11 19:13 · HBASE · 评论(0)

HBASE 代码阅读笔记-1 - PUT-3-提交任务1 (0.96-HADOOP2)

看看提交任务的代码吧。对应 http://dennis-lee-gammy.iteye.com/admin/blogs/1973249 TODO 【4】 public void sendMultiAction(final List<Action<Row>> initialActions, Map<HRegionLocation, MultiAction<Row>> actionsByServer, final int numAttempt, final HConnectionManager.ServerErrorTracker errorsByServer) { // Send the qu…

2013-11-10 19:04 · 评论(0)

HBASE 代码阅读笔记-1 - PUT-2-定位RS和R-1(0.96-HADOOP2)

按照94的阅读进度,这里该看如何定位RS和Region了 先回顾下94,原来的做法是遍历操作,然后根据每个操作来定位region,按后加入region的任务队列,没有则创建。定位region的操作由HConnectionManager.HConnectionImplementation.locateRegion方法完成,这里由AsyncProcessor.findDestLocation完成 这里依然是循环,不过循环体有些变化 private HRegionLocation findDestLocation(Row row, int numAttempt, int posInList) { …

2013-11-08 19:54 · HBASE · 评论(0)

HBASE 代码阅读笔记-1 - PUT操作客户端主流程(基于0.96.0-hadoop2)

又回来了,还是看put,不过版本号变了,希望看0.94的童靴移驾到 http://dennis-lee-gammy.iteye.com/admin/blogs/1972269 put和doput方法变化不大,唯一就是原来的缓存队列名字里面加了一个async,然后类型由ArrayList变成了LinkedList。 flushCommit方法 public void flushCommits() throws InterruptedIOException, RetriesExhaustedWithDetailsException { // We're looping, as if one re…

2013-11-08 19:23 · HBASE · 评论(0)

HBASE 代码阅读笔记-1 - PUT-3-提交任务1(基于0.94.12)

终于把RS的定位问题搞清楚了些些,时间不等人,马上看看connection.processBatch中,step2是如何把任务提交到服务端的吧 之前已经看到,首先创建了一个Callable 对象,而该对象的call方法实际上又创建了一个ServerCallable 对象,然后调用了它的withoutRetries方法。 这个方法很简单,调用了connect方法和multi方法 一个个开始啃吧,先看看connect,其中server是ServerCallable的成员,HRegionInterface类型 // 备注【1】:这是ServerCallable默认的connect方法 public…

2013-11-07 19:44 · HBASE · 评论(0)

HBase Memstore配置

HBase Memstore配置 本文为翻译,原英文地址:http://blog.sematext.com/2012/07/16/hbase-memstore-what-you-should-know/ 当regionserver(以下简称RS)收到一个写请求,会将这个请求定位到某个特定的region。每个region存储了一系列的row,每个row对应的数据分散在一个或多个ColumnFamily(以下简称CF)中 。特定CF的数据都存储在对应的store里面,而每个store都由一个memstore和数个storefile组成。memstore存储在RS的内存中,而storefile则存…

2013-11-07 15:47 · HBASE · 评论(0)