一个纯正程序员的啰嗦
“ Top K 系统 ” 是非常常见的一种子系统，基本上，就是从全量巨大的统计数据中，筛选出数值最大的 K 个来并按序展示。这样的筛选可以是全时间内的，也可以是最近某一段时间内的；可以是全分类的，也可以是某个特定分类的。
具体来说，像 Twitter 的 Trending Topic，微博热搜，视频网站的点击排行，下载排行（可以是日榜、月榜、总榜）等等。这样的系统，在统计数据非常大（heavy hitters）的时候，其中的挑战性在于两个：
[……]阅读全文
今天记录 Feed 流系统的设计学习笔记，Feed 流常见系统包括 Twitter、微博、Instagram 和抖音等等，它们的特点是，每个用户都是内容创作者，每个用户也都是内容消费者，每个用户看到的内容都是不同的，它取决于用户所关注的用户列表，再结合时间线（有时还包括优先级）将这些用户的最新 feed 聚合，并以流的方式展示出来。
[……]阅读全文
在自己学习各种各样软件系统，特别是分布式系统的过程中，我做了一些笔记，有许多常见的、经典的系统，是非常值得学习和总结的。它们数量不算多，但具有典型意义，可能这样的系统也就十几个。
我在回顾这些笔记的时候发现，有时候一张简单的图，包含最核心的几个设计，就可以很大程度地帮助理解和记忆。所以我想把这些笔记和图解的结合通过文章的形式发出来，预计每篇文章都很短，基本上一张图，加上一点说明性的文字。
Disclaimer：这些都来自我自己的阅读和理解，肯定有着相当的改变和简化，因此它并不代表任何系统实际的样子。
今天是第一篇，即时消息系统，但是基本上好多即时通讯软件都属于这一类，比如微信
[……]阅读全文
上个月在极客时间做了一场直播，聊了聊职业生涯技术选择的话题，直播标题叫做《专精 or 博学，多少人输在了技术选择上？》。我把编辑剪好的视频贴在下面。如果对于我写的极客时间专栏 《全栈工程师修炼指南》感兴趣的话，也欢迎订阅。下面的胶片或视频如果加载比较慢，可以点击 B 站视频链接。
[expand title="胶片"][doc id=6246][/expand]
[expand title="P1 我是谁"] [/expand]
[expand title="P2 第一部分：技术路线的选择"]
[……]阅读全文
我觉得去理解数据结构的时候，需要注意到它其实包含两个层面。一个层面是高一级的，从功能、接口的角度去理解，比如说堆，有什么功用，都有怎样的 API；另一个层面是低一级的，从结构和实现的角度去理解，比如堆的实现，可以用数组实现，也可以用单独的节点对象+指针实现。上面一层相同，但是下面一层不同，功能上可能基本一致，但是性能上针对不同的应用场景就可以天差地别。
图就是另外一个典型例子，无向图也好，有向图也好，这是从功能上说的，但它们各自的实现，或者说基于的 “表示方法” 有多种。我记得在学习数据结构早期，基本上没有比较系统地去比较它们，那今天就把这一课补上。
比如上面这个有向图，四个顶点
[……]阅读全文
我用手机拍了很多照片，平时都保存在一台 Windows 台式机上，这台机器硬盘空间大，主要干两个事情，一个是我打游戏，一个就是存放多媒体数据（主要是照片，也有很多文档）。有时候我需要它提供照片服务，以方便家人使用各种媒体终端（手机、电视盒子等）阅览，有时候则需要往上面拷贝数据以作备份只用，于是我使用 Plex 折腾了一下，但是由于台式机噪音等等的关系，不适合长期开机，因此当时那个方案还是残缺的。
现在打算彻底解决这个问题。大致总结一下，以下是我的主要的几个需求：
[……]阅读全文
有这样一个经典的算法题，说是一个单向链表，它内部可能存在环，也可能不存在，用怎样的方法，可以检测出，这个链表是否存在环。下图即是这个形成环的示意，如果单向链表的尾部，指向了链表中的一个节点，而不是指向空，那就构成环了。
接着的一个问题是，怎么检测出这个链表是否有环？
看到这个问题，也许你会觉得，太简单了，但是这个问题只是一个引子。在 《求第 K 个数的问题》一文中，我从简入深，逐步展开，把这 “第 K 个数” 的一系列问题翻了个底朝天。我想关于这个链表成环问题，我也利用类似的思路，看看我是不是也能把这一个问题前前后后讲清楚。
在进一步思考怎样判断这个成环
[……]阅读全文
还记得在读书的时候，就对程序员有种坐在电脑前疯狂敲代码的刻板印象。工作以后，逐渐理解了软件工程师的工作到底是怎么样的，可是写代码，作为软件工程师最重要的本职工作，还是占据了相当比重的时间。在面试别人的时候，也经常被问到这样的问题——“平均你每天有多少时间花在写代码上？”，这个问题看似简单，却能反映出一个问题，软件工程师，能否有足够的时间专注在最本职工作——写代码上。毫无疑问，我完全理解这样的问题，并且，我也一直以来想保持着自己一个 “纯粹” 程序员的身份。我觉得我的职业通道也是一条纯粹的技术人的道路，因而写代码，是一个如同每天吃饭喝水一样的基本操作。
可是，随着职业生涯的进展，特别是近半年来 [……]阅读全文
最近有一个项目做了一半不做了，准确地说是由于某些原因，项目需要别的团队来接手了，于是我想随便聊聊这个话题。我猜想，“项目做一半撒手”，这应该是一个很常见的现象，因为这样的事情无论大厂小厂，在软件的世界里不断上演。具体来说，有这样几种典型的情况：
无论哪一种，有一点 [……]阅读全文
几年前我曾经写过一点对于 “在家办公” 的思考，后来又写了一点，但是从来都没有想到过，长期的在家办公如今已经不是一个可选项，而是一个必选项了。
应该说，我从来都不是一个频繁在家办公的支持者，我是说，在家办公这样的互联网公司特有的 “福利” 当然是好的，但是 “频繁” 在家办公对于团队、项目，甚至个人职业成长等等各方面来说，都不是一件好事。我记得在刚加入亚马逊的时候，我听说亚马逊给了一位工程师这样一个 offer——允许一个月之内四分之三的时间远程办公。当时我觉得这件事情还是挺不可思议的，因为像曾经的 37signals 这样的小公司当然容易做到，但是长期和频繁地在家办公却不是大型互联网公司能玩得转的。
[……]阅读全文
其实很久以前就想谈一谈这个话题了，但是最近才有了足够的动机。因为从最近参加的很多 debrief 来看，我认为身边大多数的软件工程师面试中，在通过技术问题来考察候选人这方面，很多都做得不够好。比方说，我看到对于一些经验丰富的软件工程师候选人的面试，一些面试官依然是草率地扔出一道算法题让做了事，并且认为能不能够比较清晰完整地将代码写出来，是工程师级别裁定的最重要的标准。而这样的做法我认为是非常不妥的。
首先，我要明确的是，这个问题，指的是技术面试中俗称的 “主要问题”，具体来说，就是面试官会拿出一个问题和候选人讨论，并通过由此开始双方的互相沟通和问题发散来达到考察的目的，因此，这个 “问题
[……]阅读全文
最近这个 blog 被黑了，如果你恰巧那一天访问，你会看到所有数据都丢失了，网站打开的页面，是一个初始配置数据库连接的页面。我记得几个月前，这个 blog 曾经遭受过 XML-RPC 攻击，我当时把问题的分析和处理记录在了这里。这一次，可不只是网站拒绝服务这样的问题了，而是整个网站的数据库都被干掉了。
问题出现的时候，网站访问不了了，我登上 MySQL 数据库查看了一下，发现所有数据都删掉了，只留下了一个 WARNING 的表：
上面说的也很清楚，让我往指定地址打 0.08 个比特币，他们就可以把数据还给我，要不然 10 天以后就会把数据库里的数据公开。在 Bitcoin Abuse Database 上，我找到
[……]阅读全文
以前这个 Blog 放在 VPSYOU 上，主机在美国加州，但是这个 VPS 由于亏损的关系，要关掉了，于是我开始寻找下一个 VPS 服务。考虑到是中文的博客，因此我倾向于把主机放到中国大陆，这样访问速度会快一些。正好腾讯云在搞活动，我就订购了，找了上海的主机，其实我隐约知道国内的 VPS 建立网站，是需要备案的，但我觉得可以尝试一下。如我所料，这个 Blog 应用迁移的过程很顺利；可是没想到的是，我大大低估了备案的难度，这个备案的过程，实在太过荒谬和不近人情。
整体来说，应用迁移过程本身还是比较顺利的。这里记录了迁移这个过程的操作步骤，也可以作为日后再做 VPS 迁移的参考。
首先
[……]阅读全文
一个分布式系统，经常需要面对同一份数据在不同时间的更改，这个更改可能来自不同节点间数据的同步，也可能来自系统对于客户端写请求的处理，那么这样的更改就可能出现冲突问题。而基于事件发生顺序的冲突问题的解决，是很多分布式系统，在一致性方面，都必须要仔细考虑和妥善处理的问题。我曾经阅读过一些互联网上的材料，但是没有发现哪个能比较系统且简洁地把这个问题和解决描述清楚的，我觉得我也许能够做得更好，于是有了本文。下面我来通过简单的例子介绍这类问题的产生，以及应对的思路。
我来举一个简单例子：
你可以看到，往右的箭头表示在一个分布式系统中，A、B、C 三个节点上，实际时间流逝的时间轴。节点 A[……]阅读全文
作为软件工程师，工作有一些年头了，在不同的公司，也面试过不少人。以前没觉得这事儿多有意思，但是这几年想法改变了，我发现在一家公司，去面试不同的候选人，是一个非常有价值的增长阅历、经验，让自己成长的机会，还有机会见识到各种各样的人的，获知他们不同的思考问题的方式。特别是作为 bartender（在 Oracle，bartender 基本上就是面试的技术负责人，所有团队招人，都必须有一个来自别的团队的 bartender 来保证候选人的水准，具体的面试流程你可以参考一下我写过的这个专栏），这样的机会有很多，虽然会占用一些自己团队和项目的时间，但是和收获比起来，显然是很有价值的。
最近跟一些公司内一
[……]阅读全文
在专栏中的第 36 讲的选修课堂中，我介绍了 Diffie–Hellman 密钥交换这一算法，它可以说是质数在加密技术中的一个应用，并且是通过其中的 “模幂运算” 来实现的。今天，我来介绍质数的另一个应用，RSA 背后的算法。我在互联网上搜索了一下，我发现基本没有能把它背后的实现原理用浅显的中文叙述讲清楚的，但我还是想试一试，看看能不能尽可能避开那些难懂的术语，用尽量形象和易于理解的方式，把 RSA 背后 [……]阅读全文
抱歉近几个月博客文章更新不够频繁，也有朋友问过，现在我想告诉大家，那是因为我写专栏去了。今天，专栏 《全栈工程师修炼指南》终于上线了，下面的内容，就是我将这些年来，关于全栈开发，自己的一些经验、心得、感悟，总结起来，并且酝酿思考了很久，撰写的这个专栏。我想，目前市面上某一项具体技术的教程通常好找，但是系统的全栈技术关系树，包含这些技术之间的演进、权衡和本质介绍，并引发思考的学习材料却并不好找。值得一提的是，这个专栏中我将全程朗读所有的技术文章，为的就是能够尽可能地把原汁原味的技术内容传达给读者，希望你可以从中享受技术单纯原始的快乐。
下面的内容就是这个专栏在发售时的宣传材料，你也可以直接拖 [……]阅读全文
有时候忽然上下班路上，会去思考一些司空见惯的问题，有一些问题随着思考深入，发现还挺有意思的，就记录在这里。问题之间关联关系不大，有点散。
倒时差的问题
西雅图夏令时和北京时间的时差是 15 个小时，有一个简单的换算方式，就是把当前西雅图时间昼夜颠倒一下（加 12 小时），再加 3 个小时，就得到北京时间了。举例来说，现在是 8 月 16 日晚上的 9 点 37 分，昼夜颠倒一下，就是 8 月 17 日的上午的 9 点 37 分，再加 3 小时，就是 8 月 17 日中午的 12 点 37 分，这就是北京时间。
这几年跑了几次北京和西雅图以后，发现一个规律，就是从北京来到西雅图倒时差非常困难，而从西雅图回到北京倒时差就相对容易得多。我曾经以为是自己心理 [……]阅读全文
在 Java 中打印当前线程的方法栈，可以用 kill -3 命令向 JVM 发送一个 OS 信号，JVM 捕捉以后会自动 dump 出来；当然，也可以直接使用 jstack 工具完成，这些方法好几年前我在这篇性能分析的文章中介绍过。这样的需求可以说很常见，比如定位死锁，定位一个不工作的线程到底卡在哪里，或者定位为什么 CPU 居高不下等等问题。
现在工作中我用的是 Python，需要线上问题定位的缘故，也有了类似的需求——想要知道当前的 Python 进程 “在干什么”。但是没有了 JVM 的加持，原有的命令或者工具都不再适用。传统的 gdb 的 debug 大法在线上也不好操作。于是我寻找了一些别的方法，来帮助定位问题，我把它们记录 [……]阅读全文
除了主要内容——工具和实践，这篇文章也对 “谈谈 Ops” 系列做一个汇总，提供一个访问入口。之前几篇，从一个纯粹 dev 狭窄的视角，谈了谈自己对 Ops 的一些认识：
在往下继续以前，如果没有看过前面的文字，不妨移步阅读，因为上面的内容对下面的内容做了一定程度的铺垫。
现在在写的这一篇文字，我准备是最后一篇，主要谈论这样几个事情：一个是工具，另一个是实践。我依然还是从 dev 的视角，而不是从一个专业运维的视角来记叙。
工欲善其事，必先利其器。我在主要且通用的工具 [……]阅读全文