开发团队的效率
我之前写过一篇叫《加班与效率》的文章,从概念上说了一些我对“效率”的认识,但是那篇文章趋于概念化,对于一些没有经历过这样的环境的同学来说,可能会觉得太抽象了。很早以前就想写一篇更具体一点的,可执行的文章与《加班与效率》这篇文章相辉映,并再把我两年前在杭州QCon上的那个“鼓吹工程师文化”的《建一支强大的小团队》(新浪微盘)的观点再加强一下。
但是我遇到了一些思维方式上的麻烦——我讲的总是从我的经历背景出发,没有从其它人的经历背景来讲。这就好像,我在宝酷里说了很多东西(比如:专职的QA,Code Review很重要,编程年龄,创业的,Rework的……),有好些人觉得是不可能甚至太理想,其实我说的那些东西都是实实在在存在的,也是我所经历过的。于是,不同的经历,不同的环境,不同的眼界,造成了——有些人不理解我说的,而我也不能理解他们所说的。
所以,过去的这段时间我一有机会就找一些人交流并观察一些身边的事情,并去试着跟从和理解那些我不能理解的东西。现在觉得差不多了,所以,写下了这篇文章。(但越是去理解对方,我就越坚持我的观点,所以这篇文章可能还是会出现鸡同鸭讲的情形,无所谓了)
本文不讨论任何业务上的效率问题,只讨论软件开发或是软件工程中的效率问题。虽然产品和业务上的效率问题是根本,但是因为本文不是拉仇恨的,我也不想混在一起谈,所以请原谅我在这里先说开发团队的,以后重新开篇文章专门谈产品和业务的。
我下面会罗列几个非常典型的开发方式——软件开发中的“锁”,接力棒式软件开发,保姆式软件开发,WatchDog软件开发,故障驱动式软件开发。
目录
软件开发中的“锁”
如果你搞过并发编程,你一定知道什么是“锁”,锁就是用来同步和互斥。我发现有好些开发部门里的各个开发团队间存在很多锁。比如:
- 技术能力上的锁。有一个项目需要在不同的地方做开发,这些模块用到不同的技术,比如:Java, C/C++, Python,Javascript,但是,这个团队里的每一个开发人员就只懂一门语言,于是,需要配合,需要任务排期,同步互斥锁就很多,于是,一个本来只需要2个人干3周的的工作变成了8个人干两个月。
- 负责模块上的锁。同理,不同的人负责不同的模块,于是一个项目要动好多模块,那么你就需要把这些模块的人找过来,和上面一样。每个人都有自己的时间安排,人越多,锁越多。于是,一个来来只需要2个人干2两周的事,变成了7、8个人干一个多月。
我上面并非瞎扯,这都是事实。我们可以看到,
- 时间锁、进度锁。这堆有不同技能或是负责不同模块的开发人员有锁,有锁你就要等,他们有自己的安排,所以,要协作起来,你就需要排期,去同步。而参与的人越多,你的锁就越多。你协调他们的时间就更复杂。
- 沟通锁、利益锁。而且,最恐怖的事情是,他们之间的沟通成本巨大。他们会花大量的时间在讨论,一个功能是实现在你那边,还是我这边,每个人都有自己的利益和算盘。无形中增加了很多推诿、官僚和政治上的东西。
有时候,我们会觉得分工和分模块是产生效率的前提,但是实际情况并不是这样。我们也可以看到,所谓的“分工”被彻彻底底的滥用了。他们把“分工”当成了永远只干一件事的借口。
【解决方案】
一个程序员应该能够掌握多个语言,也能够负责多个模块甚至不同的职责。如果一个程序员觉得多学习一门语言,多掌握一个模块是件很困难的事,那么这个程序员本质上是不合格的。
“接力棒式”软件开发
在有各种“工作锁”的软件开发团队里,一般都无法避免“接力棒式”的开发。也就是说,底层的C程序员干完了,交给上层的Java程序员,然后再交给更上层的前端程序员,最后再交给运维人员。这就是接力棒式的开发。
而且,更糟糕的是,如果在引入了软件流程下,这种“接力棒的方式”真是会把你搞崩溃的。比如下游团队开发一个月,交给QA测试一个月,再交给运维分步上线一个月,然后,上游团队拿到下游开发的API后开发一个月,再交给自己的QA测试一个月,然后再交给自己的运维上线一个月,于是,半年就这样过去了。这是一个由一个一个小瀑布叠出来的一个大瀑布。
哦,你会说,这个好办啊,上下游不会先商定好接口么?然后做并行开发么?是的,这是其中的一个优化方式,但是需要很好的接口设计。但是,在实际过程中,你会发现(这时我并非信口开河,我说的都是事实),
- 如果这两个上下游团队在一起还好办,要是不在一起,那么,实际情况是,后面的团队会等到前面的团队提测了,才开始开发,本质上就是串行开发的。
- 如果有更多的团队呢?比如:A团队 -> B团队 -> C团队 ->D团队呢。接口就变得非常地关键了。而在实际情况下,因为没有好的接口设计人员,所以,在开发过程经常性地修改接口,或者是因为接口不好用也只得忍着。
【解决方案】
我以前写过一篇叫《IoC/DIP其实是一种管理思想》,对于这种接力棒的方式,应该反过来,如果业务应用团队是A团队,那B/C/D团队应该把自己的做成一个开发框架也好,服务化也好,让应用团队自己来接入。比如:前端做好一个前端开发框架,PE做好一个运维开发框架、各种工具,共享模块团队做好开发框架,让应用团队自己来接入,而不是帮他做。你会发现,在这么多团队各自P2P勾兑出来的很随意的接口的所带来的成本已经远超过一个统一标准的协议。
“保姆式”软件开发
所谓“保姆式”软件开发就是——我只管吃饭,不管做菜洗碗,就像——衣来伸手,饭来张口的“小皇帝”一样,身边有一堆太监或宫女,不然生活不能自理。这种情况经常见于开发和测试,开发和运维间的关系。很多公司,测试和运维都成了开发的保姆。
我就能看到,很多开发快速写完代码后基本上都不怎么测试就交给QA去测试了,QA一测,我草,各种问题,而只会做黑盒的QA并不能马上就能确定是代码的问题还是环境的问题,所以还要花大量时间排除不是环境问题,才给开发报BUG。很多问题,可能只需要做个Code Review,做个单测就可以发现了,硬要交给QA。运维也是一样的,开发出来的软件根本就没有考虑什么运维的东西,因为有运维人员,所以我才不考虑呢。
这和我们带孩子的道理是一样的,对于孩子来说,如果父母帮孩子做得越多,孩子就越觉得理所应当,就越不会去做。
“保姆式”开发一般会进化成“保安式”开发。
- 因为你的团队开发人员的能力不行,设计不行,Code Reivew/UT不做,你就只能找堆QA看着他。
- 因为Dev/QA只管功能不管运维,所以,还得找堆运维人员看着他们。
- 因为你的技术人员不懂业务,不懂需求,需要再找个BA,找个产品经理来指挥他。
- 因为你的技术人员不会管理项目,所以,再搞个项目经理,找个敏捷教练、以及SQA来管着他。
就这样,你不行,我找人来看着你,看你的人不行,我再找人来看着看你的人……层层保姆,层层保安。于是,你就会发现,团队或部门里的人员越来越多,你整天都在开会,整天都在互相解释,互相争吵,会扯淡的人越来越多。那还有个屁的效率。
网络上一个非常经典的图片,来源不详,程序员在挖坑,其它人站在当监工
【解决方案】
1)不要招只会写代码的“码农”,要招懂“需求”,注重“软件工程”和“软件质量”和“软件维护”的“工程师”。
2)最好的管理,不是找人来管人,而是自己管自己。
3)组织和团队中支持性工作的人越少越好,最好不要。
4)服务化。我服务于你并不代表我要帮你干活,而是代表——我要让你干活干得更爽。
我在微博上说过下面的话,(大家可以体会一下保姆和服务的差别)
运维要用“云服务”的思路去做。如果一个公司内的运维团队开发出一堆工具,让做应用开发团队可以很容易地申请机器、存储、网络、中间件、安全等资源,并很容易管理、监控和部署应用,并提供运维资询。而不是帮应用开发团队干活擦屁股当保姆。那么,这个公司就会不经意地做出一个云计算平台来了。
“WatchDog式”软件开发
什么是WatchDog?就是说——为了解决某个系统的问题,我要用一个新的系统去看着它。
- 我的系统架构太复杂,出了问题不好查找。咋办?那就搞个专门的特殊的监控系统吧……
- 我的系统配置太复杂,容易配错了。咋办?那就加一个配置校验系统吧……
- 我的系统配置和真实的情况有时候可能会不一性。咋办?那就加一个巡检系统吧……
- 我的系统测试环境和线上环境有时候会搞混了。咋办?那就为线上环境加一个权限控制系统吧……
- 我的系统有单点,那就加个负载均衡器吧,负载均衡器的单点呢?那就再加个等价路由器吧……
做加法谁不会?就不想去简化一样系统吗?就不能不拆东墙补西墙么?这些了系统加的越来越多,我看你以后怎么运维。
一开始没有想清楚就放到线上,然后,出了故障后,也无法重新设计和重新架构,只能以打补丁地方式往上打,这就好像一个本来就有缺陷的楼没有盖好,你要拆了重盖是不可能的,也只能不停地打补丁了。字是一只狗,越描越丑。
【解决方案】
1)设计想好了再做,多评估几个设计没坏处,简化,简化,简化。
2)残酷无情地还债,就算是CEO来了,也无法阻止我还债的脚步。
“故障驱动式”软件开发
WatchDog式的软件开发通常来说都是“故障驱动式”软件开发的产物。这种开发方式其实就是在表明自己智力和能力的不足。以上线为目的,上了线再说,有什么问题出了再改。
上面的老大或是业务方基本上会说,没关系,我们不一开始并不需要一个完美的系统,你先上了再说,先解业务的渴,我们后面有时间再重构再完善。而有的技术人员也会用“架构和设计是逐步演化出来的”这句话来证明“故障驱动”开发是值得的。
我同意逐步迭代以及架构演化论,但是,我觉得“系统迭代说”和“架构演化论”被彻彻底底地成为那些能力有限甚至不学无术的人的超级借口。
你们有没有搞错啊?你们知道什么叫迭代,什么叫演化吗?你们知道,要定位一个线上的故障需要花多大的力气吗?(看看这篇文章你就知道了)你们知道,随随便便去应付局部上你会快,但总体上来说你会慢。
虽然,我看到那些系统在一个又一个的故障后得到一点又一点的改善,但是我想说,为什么一开始不认真不严谨一点呢?我从来就没有见过一个精良的系统是靠一个一个的故障和失败案例给堆出来的,就算是Windows 95/98这样史上最烂的操作系统,如果没有设计精良Windows NT的补位,Windows也早玩完了(看看IE的下场就知道了)。
【解决方案】
1)基础知识和理论知识非常重要。多多使用已有的成熟的方案是关键。
2)对技术要有一颗严谨和敬畏的心。想清楚了再干,坚持高标准,Design for failure! 很多事情都急不得。
其它开发方式
其实,这样的事情还有很多。比如:
1)配置管理上的问题。对于源代码的配置管理,其实并不是一件简单的事情。配置管理和软件和团队的组构的结构非常有关系。我看到过两种非常没有效率的配置管理,一种是以开项目分支的方式来做项目,同时开很多分支,分支开的时间还很长,导致merge回主干要花大量的时间去解决各种冲突,另一种是N多的团队都在一个代码库中做修改,导致出现很多复杂的问题,比如某团队的改动出现了一个bug,要么所有的团队的功能都得等这个bug被修复才能被发布,要么就是把所有的改动回滚到上一个版本,包括其它团队开发的功能。很明显,软件模块的结构,软件的架构,以及团队的组织形式都会严重影响开发效率。
2)人肉式的软件开发。大多数的软件团队和主管都会用“人手不够”做为自己开发效率不够的借口,而大多数故障发生的时候,都会使用更重的“人肉流程”来弥补自己能力的不足。他们从来没有想过使用“技术”,使用更“聪明”的方式来解决问题。
3)会议驱动式开发。人多了,团队多了,想法也就多了,沟通也就多了,于是需要不停得开会开会开会。
总结一下
综上所述,我有如下总结:
1)软件工程师分工分得越细这个团队就越没效率,团队间的服务化是关键的关键。不管是从语言上还是从软件模块上的人员分工,越细越糟糕。服务化不是我要帮你做事,而是我让你做起事来更容易。
2)你总需要在一个环节上认真,这个环节越往前就越有效率,越往后你就越没效率。要么你设计和编码认真点,不然,你就得在测试上认真点。要是你设计、编码、测试都不认真,那你就得在运维上认真,就得在处理故障上认真。你总需要在一个地方认真。另外一篇文章你可以看一下——《多些时间少写些代码》
3)“小而精的团队”+“条件和资源受限”是效率的根本。只有团队小,内耗才会小,只有条件或资源受限,才会逼着你去用最经济的手段做最有价值的事,才会逼着你喜欢简单和简化。
4)技术债是不能欠的,要残酷无情地还债。很多事情,一开始不会有,那么就永远不会有。一旦一个事情烂了,后面只能跟着一起烂,烂得越多,就越没有人敢去还债。
5)软件架构上要松耦合,团队组织上要紧耦合。
6)工程师文化是关键,重视过程就是重视结果。只重视结果的KPI等同于“竭泽而渔”和“饮鸩止渴”。
(全文完)
(转载本站文章请注明作者和出处 宝酷 – sou-ip ,请勿用于任何商业用途)
《开发团队的效率》的相关评论
感觉很多大公司制度和管理上的臃肿限制了效率;而小公司虽然团队上是紧耦合的,但是由于规范要求和人员素质的欠缺,团队效率看起来蛮高,其实过于的压缩时间成本反而导致系统的扩展性和维护性严重不足。
说的好~
文章有些片面,可能在大公司是这样,像我们这样的小公司开发几乎要干所有的活:开发,搭环境,测试,改服务器配置。甚至还要开发教运维搭环境,教测试怎么测。有时为了解决一个问题要替换旧的环境,给运维解释大半天他们还理解不了。
深有感受啊。作者描述的问题都很有代表性。不过优秀的工程师不好找。
非常同意这句话(你总需要在一个环节上认真,这个环节越往前就越有效率,越往后你就越没效率),能做到的人不多.
至于(“小而精的团队”+“条件和资源受限”是效率的根本)这句话本身是对的,但是有工期的压力前提下,如果让这一个个的小团队组合起来是一个大学问. 沟通成本可能会是无限大的.
条件和资源受限,即使效率保证了,但是质量呢?!说白了还不是短工期多需求的病态项目,在这种前提下,流程就是个屁!
从大项目中解脱,回到小项目后才能真正体会到这个效率问题,大项目中两个月时间我只做了一个模块,小项目里我用了一个半月时间做完了一个项目。
其实可以讨论一下,不同人不同的定位,不同的程序员不同的技能。就如NBA中罗德曼这样的奇葩,可以想象一下不会运球的哥们拿了NBA那么多总冠军戒指。我感觉在程序员的领域一样存在这样的情形,甚至更精彩。需要乔丹这样神一样的存在,也需要罗德曼这样的专项高手。如何把不同特长的人发挥出最大能量,这应该是提升团队战斗力最核心的
@mazpig
我们公司就是!~
@jimshao
同意你的看法,其实lz的观点和大多数公司的观点一致,招全能精英,但是这其实逃脱自己的管理责任,缩小团队规模并且提高人员素质,其实是降低了管理难度,如果互联网能学习一下传统行业的管理水平,可能会更好的管理程序员,毕竟精英是少数,能领导普通人干大事的将军才是真正的将军
我还不会怎么去招人….
@zgy
全能工程师很容易培养的.关键是这个人有没有can do 的态度.
面试时候,如果对方说,这个归xx部门,我不清楚.我一般会多问一句,是否想过自己搭建个环境实验一下?
除非那个环境是很贵的无法自己搭建的.一般好程序员都会自己搭建环境的.
@little joe
你这是共产主义思想,不可能实现的. 楼主的观点是正确的.
说得很对,不过小规模公司不好招人,特别是愿意学习的;平时项目又多,时间紧
“残酷无情地还债,就算是CEO来了,也无法阻止我还债的脚步”,这是作为一名技术人员最高贵朴实的品质;
小项目好管理。大项目降低内耗是很大一部分工作。
我貌似,一直在保姆式的公司,做开发,效率低的要死,提意见都得接受一番鄙视。然后,在保安式的公司做了一个月,数据库建张表需要求人,代码新增一个功能需要请问一下老员工,标准的模式是什么样的,自己的方式实现,没问题会说慢 ,有问题。。。请求上写代码,需要找主管签字。唉。
保姆式的方式习惯了,还要被教育做人方式有问题。
【服务化。我服务于你并不代表我要帮你干活,而是代表——我要让你干活干得更爽。】这个是思维的转变,值得深思。赞一个,谢谢耗子叔。
智商不够,靠人数凑
服务不行,冗余来顶
效率低下,开会动员
软件工程,搬砖靠人
其实在很多大公司,项目经理并不关心自己项目的架构代码的好坏,或者是否好扩展好重构。他们只关注自己手上有多少项目并行,每个项目的进度推得有多快,上线日期有多靠前这些。因为这才是衡量他们工作好坏的标准,至于项目质量如何,不是他们自己说了算就是没人说得清。那么这些无关他们利益的事情又怎么可能被整个团队重视呢。养着那么多人就要用,一层一层各种职能的人往上堆,精简架构这种事就算心里清楚也不是自己说了算的,那就不用白不用呗。
这样组合出来的公司还是很有问题的, 一个牛人可能负责了公司的很多关键技术, 一旦这个人或者几个人离职了, 对公司来说伤害还是很大的。人多是效率低点, 但是也保证的公司的稳定性, 离开谁都是可以的。
目前很小的公司普遍存在这种问题。
亚马逊内部对团队的划分叫“两个披萨团队”,也就是两个披萨刚好够吃的人数组成一个团队,通常就6~8人。
技术上理论上来说都是对的,只是人不是机器人,缺陷太多。其实很多问题就是人的问题。责任心其实是种借口,关键还是能力问题。
但从管理的角度来讲,如果一个人无法克服和认清自己的能力的边界并且超越他,其实也是一个很大的挑战。
尝试过项目以基层技术人员(1年左右的)作为业务开发主力(主要指业务的细节琢磨,实现),以中级技术人员作为技术攻关主力(指第三方库,服务器,数据库方面的熟悉使用,解决基层技术人员的这部分时间,使其能用,并知道为什么这样用),高级人员整体设计及提前预判各种可能问题,提前解决或者分配中层解决。
这样业务的承载在基层,但是整体把握在中高层,走了高层,进行中的项目不会受到冲击,而走了底层,在高级的带领下,几天就能顶上。
同时,基层从小处练逻辑严密性,熟悉代码的共通性,使用第三方库,慢慢提高自己的累计,而中级人员更多的是做服务工作,也就需要全方位的想基层如何理解这个技术,如何讲,高级就有更多的精力,打酱油也好,多看看大神理论也好,实践一些想法也好,对整个团队有好处
感觉很多公司都处于不好状态,更可怕的是领导层不觉得这是问题;碰上不做技术的领导更是可怜,只追求需求和进度,基本不管如何实现;招到的新员工基础差,也没有有意识培养新人,赶鸭子上架,开始开发了,写出的代码惨不忍睹,功能完成了,领导也也满意了;没有code review天知道什么时候问题堆积到崩溃。
确实说出了很多的痛点,针对每个问题都值得详细探讨一下解决的方案
看完感触很深,谢谢分享!
有个小反馈:
阿里云OCS超时问题的分析与解决
http://blog.aliyun.com/341 似乎已经失效,我在 https://yq.aliyun.com/articles/1790 找到活的链接。,可以参考下。
非常感谢
总是很多人,总会找很多借口。因为大家都这样嘛!
浩叔,你们公司叫什么,我想去面试 试试
好厉害!respect!
非常喜欢耗子叔对研发研效锋芒毕露的批评和提出真诚可行的意见。