Velocity 2014

这是第三次参加 Velocity,去年的整体感觉不怎么样的,今年的比去年进步不少,我选择听的几个主题都激发了不少的灵感。
第一天
上午的错过了没去听的成,源于 google Calendar 提醒我的时候我还在时差 1h 的济州,等上午去公司的时候才发现今天是 Velocity 的第一天,于是吃完饭赶了过去。
下午第一个是《Building Operable Systems》,演讲者 Mark Imbraco。总结了相当有价值的经验,高度的凝练,包括 configuration management 的是适用场景,metric collection 的重要性,metric report,logging,process inspection(passive, active),feature flags 这个有点像 proc 下面的开关,1 既可以开启,0 即可关闭,要做到这点是需要开发发不少精力的,还有 timeout 的检测,这个包括从基础的网络层到 app 的所有涉及 timeout 的监控。还包括 failure testing,里面有提到 chaos monkey 以及 post-mortem
第二个是搜狗的《商业数据库自动化运维平台》,整体感觉是基本完全独立的一套系统,连用户权限、ssh 之类的都是自己搞的一套,这个话题比较小,DBA 更需要关注。
然后是阿里的《阿里 CDN 技术揭秘》,讲的最无聊的一个主题,很多是在展示自己研发的一套系统多么的牛逼,对于绝大多数的公司没有什么可借鉴性。
最后一个是 yahoo 的两个工程师负责部署上万台服务器的感想,总结起来就是要保持环境的一致,模块的解耦合,接口的标准化,单包部署以及去中心化,还是揭露了 yahoo 内部的不少工具链,包括对应的 haproxy、daemontools(start, stop, restart, status etc.) jekins 等等。

第二天
上午第一场还是昨天 DigitalOcean 那位回顾了自己从业 20 多年的 turning point,真的是看着互联网长大的。
第二场是 Linkedin 的工程师介绍了 SPDY&HTTP/2 协议,下一代 web 协议基本是毋庸置疑了,并且经过他们的实践发现,在半径七八百公里之内,实用 SPDY 的的综合效果会比使用 CDN 好。
最后一场是 apple 的 Leif Hedstrom 分享了如何使用 ATS 构建开源的 CDN,里面涉及了不少跟 Nginx、Varnish、Squid 的对比,基本是完暴后面三个了。有意思的,他列举了构建自己的 CDN 以及不构建自己 CDN 而是使用第三方 CDN 的理由,都说的有理有据,关键还是看自己的需求。
下午先是阿里业务网络服务质量分析,
然后是美团的通用性能监控平台,这个在他们的技术博客上已经有所涉及,更多的是前端上的优化,顺便推荐下他们的技术博客,写的蛮有价值的。
最后一场是七牛云存储的成本计算,涉及的面非常广,从各个角度分析了存储的成本构成以及为什么构建在云上的存储在正常情况下会比自己构建一整套的存储成本更低。
下面这个是我整理的一个简单内部分享文档

一名 ops 眼里的互联网职业

在友盟干的这几年算是把半个互联网的主流职业摸的半生不熟,下面是从主观的角度写写我对这些职业的认识,熟悉的就多写点,不熟悉的就少写点,注意了,是主观。

1. CEO
最开始那会,经常是手机不离手,据说是为了看监控。半年之后,虽然手机依然不离手不过好像就不是看监控了。后来,基本见不到人了,好像要去见 VC 忽悠钱或者要去参加大大小小的会。偶尔过来问下,稳定不?为啥又挂了?最近没被黑吧?应该早财务自由,"follow your heart" 了吧。另外,各位想靠创业实现财务自由或者想买套房的也醒醒,具体参见 Quora 上的 《 What startup could make me a millionaire in four years if I got hired as an employee today?

2. CTO
最开始还能涉及些跟技术工程相关的细节,后来公司大了,工程师多了,技术实现也多了,五花八门,也不可能由其一人面面俱到。后来聊的最多的是三观问题,做这件事的意义以及不做这件事的意义,时间证明,他说的话绝大多数还是有道理的。除此之外就是批钱,买设备要批,买服务要批,打的报销也要找签字。

3. COO/CFO/CxO
这几个职位好像在我们这边没有,不评论了。

4. 财务
被卖了之后,跟其配合做了不少财务预算工作,看上去正规了些。最擅长的就是拖欠,还好没有拖欠员工工资。

5. 投资人
出钱的,这行业最初看上去是高大上,动不动就是百万千万的,后来了解的多了发现也是鱼龙混杂,有点钱的都可以做投资。年初被卖假货的电商 M&A 了,即使按照优先清算,感觉做天使的那家跟 A 轮的那家也拿不到多少钱。大致算下估算下范围,投资人能拿到多少,几个创始人加上早期的那几个人能拿到多少,其他的人就真没多少钱了,上面都是些公开的资料。

6. 律师
最初感觉是一群神秘的逼格特高的群体,跟搞私募的类似,后来发现他们主要的工作就是把一份合同的每一个字都推敲的无懈可击,顿时觉得人生没什么意义了。幸好我没选这行。跟卖保险的一样,西装革履。

上面几个职位都是相对高大上的,下面说几个比较平民的职位,也就是互联网公司的屌丝群体了,主要就是工程师,只说比较基层的,向上的什么高级xxx、资深xxx、xxx架构师大家自行补脑吧。工程师普遍有个"问题",就是谁也瞧不起谁,认为技术上老子天下第一,这个现象我认为大多数时候是个好兆头,有问题,大家坐下来 code talks,总比一群无聊的帮派看不惯另外一群无聊的帮派私底下排队搞斗争强的多。这种自负的心态有时候也会带来一些问题,最明显的是会束缚你的眼界,天下不是所有的问题都是能通过技术解决的,更多的时候不过是做取舍罢了(tradeoff 最能表现这层含义)。

Continue reading

销售跟猎头(HR)

这里谈到的销售猎头(HR) 比较狭义,主要是从事互联网行业的,靠卖硬件设备、软件、服务的以及四处挖人卖人为生的人。需要注意的是,我提到的是猎头以及 HR,而非 HM。
正所谓世间万物都是有联系的,这两个看似不相关的职业其实有不少的共同点,最明显的两点:
1. 入行门槛低
2. 都是以售出获取提成为目的

入行的门槛低这个很好理解,由于这两个行业在大部分时候并不需要很深的知识积累,所以如果你在读书的时候没怎么好好学习,这两个行业绝对是首选,尤其是销售,门槛更低,由此造成的问题可以通过下面这些事情说明。以下是我从业以来,在跟销售猎头(HR)打交道过程中遇到的各种奇葩行为。如果看我博客的正好是位销售,猎头(HR),有则改之无则加勉吧。

先说销售:
* 在第一次正式沟通前就明确了工作时间(10:30 – 18:30),结果周一早上 8:30 被电话吵醒,扯了一堆在客户看来不值一提可能在他看来是天大的事
* 沟通(邮件、电话、见面)的次数还在个位数的时候,就开始催,催什么时候开始买产品、买服务
* 使用的邮箱各种山寨,从 163 到 sina 的都有,这不是小公司的专利,包括某些在 NASDAQ 上市的公司以及若干在大陆上市的公司
* 邮件称呼各种耸人听闻,比如你叫马哲超,在邮件里面称呼马工、马总、哲超、超哥还能接受,但是一上来 "马哲超你好",让人听了实在不大舒服
* 邮件基本格式不会使用,最明显的就是 cc,明明在邮件里面加了一堆人,最后他就直接点 "reply" 了
* 邮件的标题没有任何意义,给你发了封邮件,名字叫 "马哲超你好"
* 说约个时间请你喝咖啡,你把时间空下来,结果他迟到,最后结帐的时候跟我说钱不够了,当时我心中真是千万匹的草泥马啊
* 一旦谈判失败,立马挂电话,基本是不考虑后面可能会出现的合作了
* 不提前约时间,自己悄悄的过来,我遇到好几次前台小姑娘喊我说有个混蛋在前台坐着等我,我放下手中的工作,一看,继续千万只的草泥马
* 销售这个行业长的漂亮/帅点可能会有点优势,最起码客户愿意跟你说话,但是如果你的吨位比较大,实际工作能力差,态度也很差,出了问题不好好解决只知道发嗲

再说说猎头:
* 某些打着高端招聘旗号网站上那些猎头的照片真的让我感觉到一股浓浓的山寨风味,不知道从哪个村子里面走出来的,看到的人永远都是黑漆嘛乌的,不服的去 linkedin 上对比看看。
* 不守时,这个看来是不少人的共性。跟你约 10 点结果拖到 10:30  才开始;跟你说一天内答复,结果一周都没结果
* 有些主动联系你的,上来就是你们公司的某某某你认识吗,给个联系方式呗
* 绝大多数的猎头是不会从你的角度为你考虑职业生涯的,他们需要为他们的雇主服务,尽快的挖到人,谈好价格,然后拿钱进行下一笔买卖
* 其他的请参见上面销售提到的若干问题

刚实习那会儿我很不能理解为什么不少公司招人都要求 211/985 这样的硬性门槛,现在看来很好理解。不得不承认的是,211 出来的平均质量普遍比一个野鸡大学出来的高的多。比方说,名牌高校 1000 个里面有 900 个综合实力比较强的学生,一个野鸡大学 1000 里面正常应该不会超过 100 个,现在要举办一场宣讲会,不管在哪个学校举办,举办所需花费的资源都一样,那你说应该选择在哪个学校开宣讲会。同理,在发布招聘的时候同样会把一些硬性指标写死,虽然可能会错杀一两个,但是这会极大的提高招聘人员的效率。如果你收到了 1000 封简历,按照名牌大学跟野鸡大学人数比例 9:1(实际应该会超过这个比例,没有求证过) 来计算,这 1000 个里面会有 900 封野鸡简历,有 100 封的名校简历,按照上面的假设,可以发现这 1000 封里面会有 810 + 10 的低质简历,只有 100 多封的高质量简历,要收 800+ 的低质量简历(错别字,话说不完整,排版格式混乱,从业经历没有亮点等等)这个对于招聘人员来说实在是一种折磨。前段时间我在拉钩网以及 3w 招聘上发布了几则招聘信息,两个月下来收到了 50+ 的简历,绝大多数是看完一封删一封,看其中大部分的简历真的是一种痛苦,集合了低质简历的各种特征: 错别字、表述不清、故意夸大事实、排版格式混乱、从业经历没有亮点,总结一下基本的教育信息可以发现,绝大多数都是野鸡大学毕业;而看的上眼的那一小部分绝大多教育经历还是能够接受目前社会的认可的。所以为了减少对身心的折磨,为了节约时间,设置一个硬性的门槛是多么的重要。

说到买卖,一个卖物一个卖人。这年头没有哪个是傻子,早些时候,经常听到有说运营商钱多人傻,要卖设备要卖服务特别简单,搞搞关系就 OK,产品服务质量好不好不是最重要的,现在看来前者成立,但是后者完全不成立,天底下没人是傻子。专注的做好产品做好服务才是正道,更何况你们面对的可能是一个刚刚起步,会精打细算到一根网线多少钱的创业公司。

写这篇博客的目的一是给销售猎头(HR)看看,希望以后少遇到上面的这些情况;二是给可能会跟这二者打交道的同学看看,尽量少跟上面提到的这类打交道。

Velocity/SACC 2013

今年参加了两场会议,一场 velocity,一场 SACC,二者举办的时间紧靠在一起。写篇博客简单概括一下。

Velocity 2013
今年的整体状况明显比不上去年。
上午唯一有兴趣的就是知道了 OmniTI 这家公司,简单的了解了下,跟 percona、palominodb 做的事有那么点类似,当然方向不完全一样,都是提供技术支持的,不过不是那种简单的外包形式,做的事情都蛮有意义的,也开源了不少的工具、产品,确实值得我们学习。大陆最近几年也冒出了一些类似的公司,尤其在 db 这块,市场还是蛮大的。

下午听了个《挑战与机遇共存——超大规模网络应用的运维》,得到的信息太少,而唯一有用的些信息跟我目前的工作联系不是很大。
还听了个《58统一监管平台系统分析与设计》,思路大致都差不多,没有什么太大的差别,不过看演讲者讲的如此的没底气,感觉是一个半残品的样子。不过这次交流下来,也让我明确了一点,没有一个系统能够完全的胜任目前所有的工作,很多时候,你是没法满足一些个性化的需求的,只能再单独的开发或者想其他的办法。
接着是《淘宝数据采集分析工具——Tsar》,有意思的,这个东西能将结果倒入到 nagios 里面,这是不是说明我们的干爹还在部分的使用 nagios 这个非常经典的监控系统了。不过由于只有一个人开发,并且更新的不是很积极,我不是很看好这个工具的发展,还是老老实实的用用 sar 这类经典的工具,虽然功能上可以不及 tsar。真正火的项目、工具一定是有一个完整的生态圈,一帮闲的无聊的人在贡献代码,一帮闲的无聊的人在使用他们,不停的给他们报 bug、提需求。另外一点是,这又一次的印证了上面说的,没有一个能满足所有需求的工具。

Continue reading

Elasticsearch 跟 VC(venture capital)

在 IT 行业,想开个公司做大做好最后大家都能吃香喝辣,基本是离不开幕后的 VC,不管是国外的 Google、Facebook、Twitter,还是国内的 Baidu、人人、微博,包括我司在内的,统统离不开这帮干爹。不仅仅是 IT/TMT 行业,连北京满大街的粥店火锅店卖鸡蛋的开房的都会有 VC 的帮助。
总之,VC 的产生总的来看是一件好事,你愿意出钱我愿意烧钱,大家做的都是心甘情愿,赢了大家按协议分钱退出;输了优先清算点东西,也图不到个什么。除非 founder 都是不缺钱的土壕(canonical 的 CEO),一般的创业者还是离不开 VC 的。
之前在火车上把桂曙光老师写的《创业之初你不可不知的融资知识》看了两遍,对VC/LP/GP/Option/Term sheet 等这些概念有了个大致的了解,再加上本身对 IT 跟 VC 这两个方向都比较感兴趣,而且这两者基本可以说是臭气相投,谁也离不开谁(相比 TMT,VC 基本不会投资芯片、新药研发这类项目,因为前者更加的来钱来的快,更容易 copy),平时也比较关注这方面的动态。

下面进入正题,Elasticsearch,主要说说 ES 跟 VC 的关系。

对于一款开源的产品,我了解的大部分运作模式基本有下列几种:

  1. 如果是从公司诞生的,比如像 linkedin 开源的 kafka,Twitter 开源的 twemproxy 等等,这类自然不用担心"销路"问题,这类产品都是有专职的工程师去开发,说白了,就是公司花钱雇这帮人来专门的维护开源产品。如果发展的不错,还能被 Apache 基金会纳为顶级开源项目,比如上面提到的 Kafka,这个对公司绝对是一种莫大的荣誉,就像如果你是一名 ASF 的 committers,同样是一个非常大的荣誉。
  2. 更多的是像下面描述的那样。很多时候纯粹是个人不满于现状,于是开发了一个更好用的工具,然后在 github 上开源出来了,然后世界上对现状不满意的人还蛮多的,那些人发现了这个项目之后,认为这是个非常好的东西,确实能够解决自身的需求。于是本着  don't reinvent the wheel 的原则,大家就一起来贡献代码了,然后,然后就越来越火了。不过这类模式有个问题就是,很多都是凭作者的兴趣爱好感觉来走,他们的专职工作并不在此,如果这个项目很火,有很多人贡献代码还好,如果这个项目不是很火,可能适用的领域很狭窄,可能最活跃的贡献者就是原作者本人,如果哪天作者说迫于生计不想再继续了,或者没时间了,或者没兴趣了,这个项目基本就死了。这个也是目前 Linux 下大多数软件工具产生的方式。看看那些项目主页出现的 "donate me" 就知道了。
  3. 最后一种也是最近几年比较火的方式,找 VC。虽然之前也有,但是一直都比较的低调,最著名的就是 RedHat 了,早在 97 年的时候,Cygnus Solutions(99 年被 RedHat 收购) 就接受了第一笔 VC 投资,这同时也是开源软件领域的第一笔风资 。近几年,最有代表性的就是 Puppet 跟 Elasticsearch。开源项目找 VC 看上去比较矛盾,源代码都是是公开的,就在 github 上。那怎么赚钱了?不过仔细研究下就会发现一点都不矛盾。这个应该是所有开源软件的套路了:
  • 卖服务,包括企业培训,7×24 的生产环境支持,快速的 bug 修复等等。
  • 还有一小部分的是收费的会开放更多的功能而免费的版本只提供基本的功能,这类的在各个 repo 里面能看到不少。

为什么要把 Elasticsearch 单独列出来说了?我认为这是开源公司跟 VC 合作的一个比较成功的案例,虽然说成功为时过早,不过从目前的发展来看,前景是相当的令人兴奋,完暴 Solr。

从去年中旬起,我们开始调研开源的日志收集处理方案,当时如果你 Google elasticsearch 同时肯定会出现 logstash/graylog2/kibana 等与之配套的条目,并且当时这几个(graylog2 目前已经不在主流了,接下来不提他了,Elasticsearch/logstash/kibana 已成为 log 收集处理的工业标准)项目都是各自独立发展的:

ES 在 12 年 11 月完成了 A 轮 $10M 的融资。紧接着,3 个月之后(这么快?),也就是 13 年 1 月 ES 宣布了 B 轮融资。从他们的对外报告中可以看到,这 $24M 的费用主要会用在哪里,其中之一就是人才的招聘。接着从他们的 blog 中可以明显的看到他们加快了招人、扩展海外市场(US)的步伐。插个话,说说我们的经历,我正好是在宣布拿到 A 轮的时候进入的,接着就经历了从 0 开始的大张旗鼓的数据中心建设,这个跟当年对外的口径基本一致。目前每个月仅仅花在带宽服务器网络设备上的费用就多的吓人,至于花在人上面的费用,大概数数应该都是能算得出来的。
Aug 27, 2013, Jordan Sissel 跟他的 logstash 加入到了 Elasticsearch,而 Rashid Khan 先前也加入到了 ES。再细挖他们的 blog(我疑惑的是,他们把员工的信息补充的如此详细,从 twitter 到 linkedin,不怕别别的公司挖墙脚么?) 就会发现,ES 把几乎跟其周边生态系统相关的人都挖过来了,从各个语言客户端的 API 作者到有经验的使用者传道者,只要是跟其相关的,统统都挖过来了。这个完全没问题,搞开源重要的一点就是要形成一个生态系统,看看 Hadoop 就知道了,孤立的搞下去基本会完蛋。挖人是需要花费很高的代价的,除了要晓之以礼,动之以情之外,Salary Package 是绝对不会低的:
We pay our people very well – probably above the industry average.
再者,ES 在 Bay Area 开设了除 Netherlands 的第二个办公室。除了这些,对外开放的免费的演讲,开设 Webinar 都是需要时间跟费用的。不说其他的,一天的下午茶零食,如果再包含午餐、晚餐,开销就不小了。
而上面这些费用,也只有 VC 才能供得起,ES 前后拿到的一共 $34M 估计也够花一阵子了。

从上面的可以看到,VC 不但对于传统意义上的[移动]互联网有比较大的帮助,对于这类研发开源软件的公司同样有不小的帮助,只要是一个注册了的公司,都离不开上面的这些日常开销,差别在于多少的问题。比如,ES 允许员工 home based,这能节省一定的房租开销,不过其他方面该花的还是要花的。

不知道有没有人好奇这些 VC 的钱都哪里来的?VC 的都是 LP 给的,LP 的钱就各种来路了。再者,我理解的天使投资跟 VC 的界限并不是很明显,所以一起说了。

  • 天使投资的钱一般都是自己的,一般的套路都是有幸经历了某家公司的 IPO,作为早起员工,拿到了一大笔的 option,30 财富自由退休,不能再继续的苦逼写代码了,于是把钱拿出来做投资,虽说是风险投资,不过最终肯定是稳赚的,这就是上面说的不会投资芯片、新药这类需要大量投资而不容易除成果的产业的原因,门槛很高;要么就是黑钱了,比如那个前段时间被搞的薛蛮子。
  • 对于 VC,这个就是 LP 的了。LP 的大多数都是一些机构投资者,比如公共养老基金、保险公司等等;再者就是跟天使投资类似的富有的个人,据说现在不少的煤老板都成了 LP 了。
  • 另外,现在不少互联网公司也要一起近来玩,比如 Google Ventures,他就投资了 Puppet;再比如阿里巴巴集团战略投资部,也投资收购了不少公司

大致就说这么多了,最后放一段 ES 拍的视频,制作精良鼓舞人心 ;-)

传统产业跟互联网产业的 IT

接触了不少的传统行业,对服务器网络设备以及上面跑的应用程序在传统行业的应用有些了解,跟互联网行业做个对比,谈谈感想。

首先先定义下传统行业主要是指非互联网的行业,包括零售餐饮金融政府机构等等。IT 部门对于传统行业来说可能就是一个单独的小小的部门,包括公司所有 IT 相关的日常维护;对互联网公司来说,包括 se、ops、ne、qa 等职位的统称。

1. 首先说说服务器,这个稍微有点规模的都少不了,不过两个行业的选择差距非常的大:

  • 传统行业更倾向于选择像 IBM,Cisco UCS 这类高端大气上档次的服务器产品,大型机小型机也在其列
  • 互联网行业更愿意选择 DELL、HP 这类,甚至是定制机、组装机这类性价比超高的,价格便宜的机器

2. 接着是网络设备,这个二者的差距不是很大,目前路由交换的高端市场被 Cisco、Juniper 霸占,中低端的是国产国外大混战;而像 (NG)FW、LB、AD 跟前面的情况很类似。二者的区别是:

  • 传统行业更容易选购远超过其实际需求的网络设备产品
  • 互联网行业更能把握目前的业务发展有针对性的进行选择

3. 最后就是上面跑的软件了,以目前很火的 big data 为例:

  • 传统行业虽然不是互联网,但是也清楚数据的重要性,因此,需要对其进行分析处理,因为有这样的需求,也就诞生了像 splunk 这类的公司,他们在传统行业做的很好
  • 但是到了互联网产业,很少有公司愿意使用 Splunk,更多是以 Hadoop,NoSQL 为代表的数据处理保存方案

传统行业,钱多(中字开头的一批)不多(若干中小规模的民营公司)不确定,但是人傻,这里的傻主要是指其公司的 IT 人员的职业素养相对的比较低,包括技术视野水平沟通等方面,而需求却不低于互联网公司,导致的结果就是需要有一类产品来弥补这种缺陷,于是类似 UCS、Splunk 这类"傻瓜式"的产品出现了,他们的共同特点式易于部署易于维护,但是缺点也很明显,花数倍的费用不谈,功能、性能、扩展性、定制化等方面则不能完全满足自身的要求。曾经试用过从刀片机、FCoE 到 Nexus 5000、Nexus 7000 的全套的 UCS 产品,最初的感觉就是强大。后来随着深入的了解,还是发现了不少的问题,比如,一个最基本的需求,既然使用的 UCS 是为了方便我对众多刀片机虚拟机的管理,那么我可不可以将 100 台机器在很短的时间(小于 10s)的更新完 BIOS 重起,在场的工程师都没有能很好的给出答案。

Continue reading