一个纯正程序员的啰嗦
Hadoop 中连接（join）操作很常见，Hadoop“连接” 的概念本身，和 SQL 的 “连接” 是一致的。SQL 的连接，在维基百科中已经说得非常清楚。比如 dataset A 是关于用户个人信息的，key 是用户 id，value 是用户姓名等等个人信息；dataset B 是关于用户交易记录的，key 是用户 id，value 是用户的交易历史等信息。我们当然可以对这两者以共同键用户 id 为基准来连接两边的数据。
首先，在一切开始之前，先确定真的需要使用 Hadoop 的连接操作吗？
如果要把两个数据集合放到一起操作，Hadoop 还提供了 Side Data Distribution（data sharing）的方式，
[……]阅读全文
每届世界杯都挺想发发牢骚的，但是说着说着就偏离主题了。在 06 年世界杯的时候写过这篇文章，而到了 10 年世界杯，则是这篇。无论如何，这个传统要发扬下去。
1998 年世界杯是我看的第一届世界杯，98 年以前我看足球的回忆似乎很淡薄，只有甲 A 尤其是上海申花的些许回忆。当时我大概对是上海申花和球员申思的脑残粉，每周买申江导报（买这份报纸有一个重大原因是一块两毛钱但是却厚厚一叠）首先就要翻到足球的版面，喜欢这支球队是因为离家近，也能和大连万达、北京国安统领中国足坛。申思的任意球脚法我后来认为即便拿到世界上也算是非常出众的，很多人会笑话这样的看法，不过他退役前后一共参加了两届世界任意球大师赛，一次第二，一次
[……]阅读全文
最近在使用一个内部框架的时候，希望能够在运行时指定枚举类型，却发现这是一件挺麻烦的事情（不找别的替代方式，就是要动态增加 enum 的类型），方法也不正统，不过作为有趣的尝试，研究研究也无妨，下面的内容主要来自于 《Java – create enum instances dynamically》这样一篇文章。在一切开始前，如果你想问，为什么非要增加/改变 enum 类型？其实这是一个非常好的问题，多数情况下这是应对被避免的，但是这不在今天我的讨论范围内。
一、方法 void addEnum(Class<T> enumType, String enumName)，用于增加一个枚举类型：
&n
[……]阅读全文
最近在读代码的过程中，经常遇到一些利用泛型来对调用链中的参数进行类型约束的情形，特指对于调用链中后面环节的参数类型和返回值，由前面环节的参数类型来确定，我草率地把它称作泛型传递（技巧很简单，但是用得好会很有趣；我不知道这个东西正儿八经的名字叫做什么）。
在说这个事情以前，对于 Java 的泛型，还是和其它语言中有些许的不同，这里需要结合使用方法泛型和类泛型，如有不明，对于其中的使用可以参考这篇 《泛型趣谈》，而其实下面要说的内容，其实也就是这篇文章中提到的 “链式调用”。另外，也顺便提一句，“泛型” 和 “范型” 可是完全不相干的东西，相差十万八千里（若有混淆，关于 “范型”，可以移步阅读这篇文章）。
很多
[……]阅读全文
这几天项目中使用 Hadoop 遇到一个问题，对于这样 key-value 的数据集合：id-biz object，对 id 进行 partition（比如根据某特定的 hash 算法 P），分为 a 份；使用数量为 b 的 reducer，在 reducer 里面要使用第三方组件进行批量上传；上传成文件，文件数量为 c，但是有两个要求：
最开始，想到的办法是，为了保证 reducer 中的批量上传，需要使得传入 reducer 的 key 变成一个经过 hash 算法 A 计算得到的
[……]阅读全文
上周四才到的西雅图，这两周日程排得很满，一直抽不出时间来写点东西，终于赶上一个周末，得以稍作整理。下周开始，生活应该可以渐渐进入正轨，在此以前，我还是写写缺乏营养的流水账吧。
下飞机后住进临时的 apartment，第一天一直睡到下午三点半，我醒来的时候还在考虑是不是赶不上 8、9 点钟的早饭了，在睡意中看了一眼时钟，吓得顿时清醒了。这一觉让我后悔好一阵子，生物钟彻底混乱了，时差倒得乱七八糟，白天不困，晚上还睡不着，头昏脑涨，折腾了五、六天才好。我好几年前，读书的时候，有过不少失眠的经历，我总是有这样的体会，有很多东西就像睡眠一样，平时感觉不到，但是失去了才觉得拥有它也是幸福的。
在西雅图的生
[……]阅读全文
这个问题最初来自于一封公司内部的话题探讨邮件，再加上了一些我的理解。
首先，需要明确的是，用 Java 通常构建多线程安全的程序 “非常” 困难，如果还没有体会到 “非常” 的话，阅读《Java Concurrency in Practice》（中文名叫做《Java 并发编程实战》，在我的书单里面，我认为它基本是最好的系统介绍 Java 并发的书了）可能可以改变你的看法。
多线程的基础
基础是王道。对于任何一门语言都是如此，有的基础部分是和语言无关的，也有一部分是和 Java 语言相关的。这里我不过多展开，但是我想提一提对于 JSR 规范的理解。通常我们认为 Java 是一门啰嗦、冗长，容易使用，而且不容易造成破坏的语言
[……]阅读全文
Amazon Dynamo 是分布式的 key-value 系统，最近阅读了 Dynamo 最初的论文 《Dynamo: Amazon's Highly Available Key-value Store》，本文想聊一聊它的去中心化（decentralization）。既有阅读相关材料后对其实现的理解，也有自己的思考，其中如有不正确言论欢迎指出。
中心节点
通常，我们见到的分布式存储结构都是具备中心（总控）节点的，比如 Google File System（GFS），包括了中心的 Master 和数据节点 Chunck Server；再比如 HDFS，包括了中心的 Name Node 和数据节点 Data
[……]阅读全文
最近在 Stack Exchange 上面看到一个帖子，是问程序库设计的指导原则的，“What guidelines should I follow while designing a library?”，有趣的是，很多人都在谈论面向设计，各路 API 设计，还有程序语言设计，唯独搜索 “程序库设计”，无论中文还是英文，Google 还是百度都找不到太多内容。但是我想，没有程序员会否认库设计的重要性吧，我想在这里结合这个帖子谈谈我的想法。
在这个帖子里面，votes 最高的回答，提到了这样几类 tips，我在下面简要叙述一下，其中基础的部分包括：
[……]阅读全文
最近需要处理很多搬家的事情，比较忙碌，但就在这快要离开北京的日子里面，也腾出不少零散的思考时间，考虑的问题杂七杂八，远远谈不上系统性。人总是要在大的变化来临的时候产生感怀的情绪，有更深的话题可谈，这也是为什么文人也需要体验和历练。这篇文字（只算文字，算不得完完整整的文章）我简单和零散地记述一下我来北京以后对于生活的一些思考，和以前的自己观念上有所不同的地方。
勤奋
中国人是普遍讲求勤勉、忠诚以及低调的。对于世界普遍对于中国人的认识，也往往带有这样的标签。我也曾经大致赞同这样的品质，但是很多观念的理解认识都和眼界有关系，这样的观念也在变化。最明显的就是，勤勉未必总是一件好事。
熟悉我的
[……]阅读全文
看到这样一条微博，觉得挺有意思，就记录在这里：
所谓对比，Java 真是足够啰嗦：
图不清楚，我来再叙述一下。要做的事情就是，把原有列表里面的每个元素都变成大写的，再放到一个新列表里面去。
这是 Java7 的版本：
List list = Arrays.asList("andy", "michael", "thomas");
List list2 = new ArrayList<>();
for(String s : list)
list2.add(s.toUpperCase());
这是 Java8 的版本（移步阅读：《Java8 集合中的 Lambda 表达
[……]阅读全文
纵使目标再大，人的精力有限，于我来说，早些时候远大目标隐约是 “成功的软件工程师” 这个样子，但是目标是需要逐渐细化的。这些年我渐渐对自己的定位和未来有了一个清晰一点的认识。确实我有很强的观点，觉得软件工程师需要有足够的全面性，在 《我眼中的工程师文化》中我也说 “工程师文化，不是只有权力的一面，它对工程师的要求，是每个人都要足够能干，都要做许多的事”……
但是，全面性不代表没有专精、没有方向。深度和广度统一的问题已经有许许多多过往的人和我说过了，不存在一个在某一领域精深的牛人但是知识却很窄，也不存在一个博学大师但是却没有一个自己擅长的领域；而方向更是不可回避的问题，以前和朋友开玩笑总结 [……]阅读全文
本来想告一段落别写编程范型的东西，但是这个话题最近发现很有意思，就拣出来唠一唠。从中除了能看出很多有趣的语言特性，观察不同语言的设计，还可以发现程序语言的发展过程。这里谈到的语言特性，都是从 C++的多重继承演变而来的，都没法完整地实现和代替多重继承本身，但是有了改进和变通，大部分功能保留了下来，又避免了多重继承本身的问题。
C++的多重继承
这个问题我觉得需要从老祖宗 C++谈起，我记得刚开始学 C++的时候老师就反复教育我们，多重继承的问题。比如说二义性问题，也就是说，两个父类如果定义了同名的方法，调用它的时候编译器就不知道怎么办了。
但是需要说清楚的是，多重继承确实是有其使用场景的，
[……]阅读全文
这是我写的关于编程范型的文章中最后一篇。
在 《编程的未来》里面提到过，很多时候脑子里的算法还是不容易转变成代码，大部分情况下这不是你编码技巧的问题，而是编程语言的问题，或者更严格地说，是编程语言选择的问题。除了复杂性这个软件唯一的敌人，其它真正的困难，早就被数学家们解决了，如果问题和它的解决能够用数学轻松地表述出来，那计算机只是工具而已。极端地说，如果有合适的工具，那么就选择一个；如果没有，那么可以创造一个。仅此而已。
工程师的乐趣，大抵在解决实际问题上，既有解决问题的成就感，也有解决问题的过程。而为了解决问题，又需要分析问题，选择合适的工具，再来使用工具解决问题这几部分。我们对于各种设计模
[……]阅读全文
不久前写过一篇 《给我一把榔头，满世界都是钉子》，从算法和数据结构的角度谈了谈对于问题和问题解决的工具这两方面我的看法；而最近看到了这样的代码，一个表格，单数行和双数行的样式不同，于是有程序员这样写道：
var trs = $("#spreadSheet tr");
for(var i=0; i<trs.size(); i++){
if(i%2)
$(trs.get(i)).children("td").css("color", "RED");
else
$(trs.get(i)).children("td").css("color", "
[……]阅读全文
做 Web 开发经常需要面对跨域问题，跨域问题的根源是浏览器安全中的同源策略，比如说，对于 http://www.a.com/1.html 来说：
在浏览器中，<script>、<img>、<iframe> 和<link> 这几个标签是
[……]阅读全文