不测的秘密 精准测试之路

我们经常看到互联网产品开发的现实是这样的：需求成天改，开发的交付问题多，测试时间总是被催，外面用户骂声一片，产品经理拼命想点子。是这个世界太疯狂了吗？不是的。互联网的变化是越来越快的，用户越来越在乎体验，对交付能力的压力也越来越大。开发与测试人员加班加点似乎已经成了一种习惯。那么，在这种情况下：

还能随心所欲地设计大量测试用例吗？

还有大段的系统测试、集成测试时间吗？

还能要求充足的回归测试吗？

现实如此，测试还能不能愉快地进行下去了？

……

精准测试无异于黑暗中的一丝亮光，带来了新的思想。

本书从专业的角度，以轻松易懂的方式介绍精准测试思想、精准测试的要点和工程实践，以达到测试的高境界“不战而屈人之兵”。本书主要内容包括：传统测试与自动化测试的利弊分析，开发与测试的关系调整，精准测试技术的产生与实践方法。本书用生动有趣的故事，总结了精准测试技术的九个方面：差异化、技术治理、质量分析及闭环、知识库、用例预分析、知识库优化、用例预分析消振、精准测试执行手段、质量评估。

目前，互联网产品开发对质量要求越来越高，而开发与测试的周期越来越短。如何做到快速测试？精准测试无异于是一种新思路。试想在软件研发过程中，有一种方法能使得代码经过评估后少测乃至不测，这是怎样的一种体验？假如测试团队具备了金庸笔下高手的能力，化繁为简，四两拨千斤，这是怎样的一种成就？来自腾讯的测试专家们齐聚一堂，通过总结实战经验,告诉读者在移动互联网浪潮中如何生存。本书将从专业的角度，以轻松易懂的方式介绍精准测试思想、要点和工程实践，以达到测试的高境界“不战而屈人之兵”。本书主要内容包括：传统测试与自动化测试的利弊分析，开发与测试的关系调整，精准测试技术的产生与实践方法。本书用生动有趣的故事，总结了精准测试技术的九个方面：差异化、技术治理、质量分析及闭环、知识库、用例预分析、知识库优化、用例预分析消振、精准测试执行手段、质量评估。

本书的作者们来自腾讯移动品质中心TMQ (Tencent Mobile Quality Center)，他们长期实践精准测试分析，积累了丰富的实战经验，在工程实现上也进行了不少探索，涉及的产品包括腾讯电脑管家、手机管家、应用宝等。

TMQ是腾讯早专注于移动App测试的团队。在十余年的时间内承担了近十款业界领先产品的测试工作，有近七年的Android及iOS自动化测试项目经验，为腾讯向移动转型提供了多项质量方案和关键专利。

一口气看完这本书，没想到沉迷技术的工程师能在书里穿插了完整的职场和生活故事，还能把独孤九剑和技术要领无缝揉合在一起，非常钦佩！两年前在讨论本书大纲和标题时，作者抛出“不测”这个概念非常独特，太多业务以发布压力为名不断堆积测试人力，习以为常，却往往陷入“越测越缺人，加班多但提升少”的困境。希望书中所讲的真实、曲折且成功的实践经验，能给更多团队带来观念的转变和大胆的行动！

——张鼎，小赢科技品质负责人，TMQ前总监

目　　录 Contents
前言
引子1
第1章　你心急如焚，我举步维艰4
第1节　初见真颜4
第2节　敏捷转型6
第3节　被挑战了9
第4节　leader的分析12
第5节　自动化，想说爱你不容易13
第6节　自动化测试的价值15
第2章　易筋经和独孤九剑21
第1节　启动探索21
第2节　曙光乍现23
第3节　为什么要关注开发实现25
第4节　测试分析理论的由来27
第5节　测试分析小试牛刀32
第6节　从全面测试覆盖到追求不测33
第7节　气宗与剑宗的首次握手言欢34
第3章　精准测试第一式：差异化35
第1节　万事开头难35
第2节　从最小对象入手37
第3节　需求差异38
第4节　技术实现差异41
第5节　最佳实践45
第6节　杀手现身54
第4章　精准测试第二式：技术治理56
第1节　居然是boss级别56
第2节　技术治理60
第3节　柳暗花明又一村65
第4节　静态函数调用链获取67
第5节　动静结合函数调用链74
第5章　精准测试第三式：度量及分析闭环78
第1节　什么是测试精准度78
第2节　如何度量代码覆盖率80
第3节　分析闭环的建立84
第4节　代码覆盖率结果分析参考模式86
第5节　代码覆盖率工具原理揭秘88
第6章　精准测试第四式：知识库94
第1节　beta猫的启发94
第2节　连接代码和用例96
第3节　函数调用链动态获取100
第4节　知识库采集与安家105
第7章　精准测试第五式：用例预分析110
第1节　探寻价值110
第2节　Hi,这就是用例预分析112
第3节　拿出落地方案来114
第4节　累死姐的节奏118
第8章　精准测试第六式：知识库的优化120
第1节　要开始填坑了120
第2节　函数相同分支用例请走开123
第3节　hash标识分支125
第4节　哎哟，被优化了128
第9章　精准测试第七式：用例预分析消振130
第1节　奇怪，竟然有漏网之鱼130
第2节　差异化分析也要到分支级别134
第3节　匹配变更和函数分支hash136
第4节　用例分支和变更分支关联139
第5节　推荐最精简用例集141
第10章　精准测试第八式：精准测试执行手段143
第1节　手工测试的天花板145
第2节　自动化测试的革命150
第3节　精准测试系统总体架构153
第11章　精准测试第九式：质量评估155
第1节　“测试覆盖率”的评估156
第2节　你来决策发不发158
第12章　无招胜有招161
第1节　独孤九剑概说161
第2节　无招胜有招163
第13章　唯一不变的是变化174
第1节　一夜回到解放前175
第2节　探索，永无止境177
后记178
附录A　应用宝精准测试案例180
附录B　手机管家精准测试案例189
附录C　Android客户端精准分析规则195
附录D　iOS代码覆盖技术最佳工程实践200

Preface 前　　言深圳，已是深夜，深南大道旁的腾讯大厦，有几个人走出公司大门，望着天空中的点点繁星，不由感慨，终于把这个版本发出去了，该回家好好休息了。没错，这几个人就是典型的互联网公司的测试人员。
斗转星移，软件测试从诞生到现在已过去40多年。虽然各种测试理论和技术层出不穷，但这个行业近10年的突破仍然较少。敏捷测试虽然已经普及，但是应用的效果因团队而迥异。大部分的测试团队还是处于一种疲于奔命的状态，团队技术弱，测试一片黑，任务重，测试过程重复单调，测试人员对测试结果没信心。
既然现实这么骨感，我们能不能斗胆强调少测一点？测得精准一点？因此有了精准测试的想法，希望以这种反传统的观点带来一股新鲜的空气。在腾讯的一些团队中，精准测试已应用得比较熟练，从测试效果来看，算是走出了一条不寻常的道路。
我们希望给大家提供一种新的思路—如何做到“不测”？解放人力，弥补缺失，去除冗余。这是一本讲方法论的书，除了提供思想方法，还通过讲解最佳工程实践给出具体的指导。大家可以根据团队的现状找到最合适的切入点，逐渐达到“不战而屈人之兵”的境界。
讲方法论的书往往容易枯燥，我们不想讲得枯燥无味，那样就太对不起读者了。好在写书的几个小伙伴都对金庸老爷子有点崇拜，索性就把易筋经和独孤九剑给用上了，另外也把每个章节通过小故事衔接起来，希望大家喜欢。
由于时间仓促，作者水平有限，书中错误之处在所难免，欢迎读者朋友批评指正。从技术上说，精准测试是不完美的，也不可能是完美的，希望大家与我们共同探讨！
本书适合的读者本书主要介绍人工精准测试闭环和工具平台辅助精准测试闭环，用故事案例的方式阐述精准测试的方法，并给出质量度量的标准。此外，较为详细地阐述了精准测试平台建设的技术方案及其演变。
本书的目标是在不降低质量标准的前提下，探寻缩减测试范围，减少测试独占时长之道，主要解决的是传统黑盒测试回归内容较多、耗时较长的问题。
本书可能适合以下人员：
探寻敏捷之道的测试leader、测试人员；陷入质量和效率两难境地的测试leader、测试人员；想要建设精准测试平台的测试人员、测试开发人员；想要对交付产品质量有更大信心的测试人员；想缩减测试独占时长的项目经理；本书内容及特色本书有两条主线，一条线是故事线，是为了减少技术内容的乏味之故。编者尽量把晦涩的技术内容用平白的对话展示出来，便于读者理解。故事线各个章节前后贯穿，不可拆分。另一条线是技术线，可以拆分为四大部分，下面一一介绍。
第一部分（第1～2章）主要是背景介绍。引入了敏捷转型的挑战、对自动化测试价值的探讨，以及开启测试分析的探索。
第二部分（第3～5章，第11章）主要是讲人工精准测分的闭环，也是从传统黑盒测试转型的第一步。对这个闭环了解透彻，可帮助大家从现状中找到转变点，落地行动起来。
第三部分（第6～10章）主要是讲为了持续提升代码测分的效率而搭建精准测分平台，并落地见效的过程，是一个平台辅助精准测分的闭环。这个闭环不仅可以给大家提供平台建设的技术方案思路，还可以给大家开展代码测分可能遇到的困境提供解决方案思路。
第四部分（第12～13章）这是个总论，对整本书每章内容进行精辟的总结，并阐述在面临质量和效率两难境地时破局的思路。同时提出精准测试可助力大家迎接更大挑战。
本书阅读建议如果你是一个喜欢先看全书概论的人，建议你先看第12章，然后再从头看起。
如果你是一个急需了解精准测分如何落地的人，建议你先看第二部分，也就是第3～5章、第11章，然后看第12章，再看其他章节。
如果你是一个喜欢故事情节连贯的人，建议从头看起。
关于作者本书的作者们来自腾讯移动品质中心（TMQ）的电脑管家、手机管家和应用宝测试团队，他们长期实践精准测分，积累了很多实战经验。在精准测试的工程实现上，也做了不少的探索。近年来，在MIG无线研发部两位总经理冼文佟、陈诚的鼓励和支持下，TMQ的同学们踊跃将过去的知识和经验集结成册，分享给业界的小伙伴们。在继《腾讯Android自动化测试实战》、《移动App性能评测与优化》、《腾讯iOS测试实践》后，本书作为TMQ系列的另一新作，希望能从测试思想和方法上，给各位读者带来新的启发。
本书的思路大纲由李德广、刘建生、徐志广、李叶、杜晨亮提供。
本书主编：李德广、刘建生。
本书副主编：薛玲玲。
本书主要编著成员有：窦仟、何冬花、黄小勇、刘楚蓉、卢少娜、马识佳、尚鸿、王媛、熊彪、杨春喜、张艳、赵燕、朱伟鸿（按拼音顺序排列）。引子和第1、2章、附录：李德广、卢少娜、刘楚蓉、赵燕、杨春喜；第3章：张艳、薛玲玲、熊彪；第4章：刘建生、薛玲玲、熊彪；第5、11章：马识佳、黄小勇；第6章：何冬花；第7章：窦仟；第8章：王媛、熊彪；第9章：熊彪、黄小勇；第10章：尚鸿、黄小勇；第12、13章：薛玲玲；后记：朱伟鸿。
特别致谢李德广致谢：
非常感谢各位小伙伴们在繁忙的工作之余，投入了大量的精力，终于把这本书完成了，再一次显示了我们团队的力量！同时感谢TMQ的几位总监：廖志、刘建生、丁如敏，携手打造了TMQ这样好的平台和分享氛围！感谢鼎叔张鼎，从一开始就和我们讨论这本书的思路！特别感谢出版社的吴怡编辑，自始至终都在关注我们，给了我们很多帮助和建议！
薛玲玲致谢：
首先要感谢的是，给我们团队带来精准测分思想的李德广、刘建生。没有这两位leader的思想引领和技术引领，就没有整个团队最终精准测分实战的落地和收获。非常感谢！
其次要感谢的是，业务产品对质量和效率的不懈追求。没有你们的鞭策和挑战，就没有测试团队持续攀登高峰的勇气和信心。非常感谢！
然后要感谢的是，TMQ从职业发展角度对业务测试团队提出了更高的技术要求，并提供了更宽广的视野，让大家前进的劲头更足。非常感谢！
更要感谢的是，本书的编者们，没有各位编者在百忙之中，抽出精力，写出自己的实战内容和体会，就没有这本书的完成，小伙伴们太赞了！
此外，我还要感谢我们的设计师老麦（麥偉強）、黄盛全，感谢他们于百忙之中帮助设计本书的主人公头像，大道至简，寥寥数笔，精准地刻画出我们主人公蓬勃向上的头像。还要感谢我们的同事廖海珍，没有她与出版社坚持不懈的催稿，我们这本书也许还要再等待几个月才会与大家见面，感谢！
最后，感谢我的家人们，正是你们的坚强后盾，赋予我坚持不懈努力前行的保障和动力，深深的感激，永远爱你们！
窦仟致谢：
感谢领导的前瞻视野。感谢测试对质量和效率的不断追求。感谢测开对技术的探索精神。感谢家人对我们工作的支持。
何冬花致谢：
从以前粗犷黑盒测试到现在的精准测试，在这个过程中，我们团队经过了一次次尝试和努力，终于形成了我们这本书。感谢我的领导和团队，让我在其中收获满满。感谢家人对我工作的支持。希望这本书会给你带来帮助，这不会是终点，希望跟在测试道路上前行的伙伴们一起努力。
黄小勇致谢：
用更有效率的手段来保证产品质量，一直是我们追求的目标。感谢安全业务测试组给予我们尝试创新的土壤，与各位小伙伴一起进行精准测试探索让我受益良多。同时也要感谢我的家人，你们的支持和鼓励是我不断进取的力量源泉。
刘楚蓉致谢：
感谢品质中心老大们对精准测试技术如何落地不断给予指导，感谢应用宝测试团队长期以来的支持与帮助，一次次的碰撞让精准测试在应用宝多FT运转模式下顺利规模化地运转起来，很大程度提升了测试效率。最后感谢我的家人对我工作的支持与理解。
卢少娜致谢：
感谢手机管家测试成员的努力，精准测试从一个模糊的概念到落实测试过程，从虚到实，脚踏实地帮助我们提升版本内容的质量和效率，让我们做好手机管家的坚实后盾。感谢安东和cody日常提供很好的帮助与指导，最后要感谢我的家人，给我的工作百分百支持。
马识佳致谢：
感谢腾讯，提供给我们追求卓越、勇于创新的土壤，感谢手机管家测试团队，感谢我的领导cody和安东，在精准测试、提升测试效率和质量的过程中给予的帮助和指导，感谢我的家人，对我一如既往的鼓励支持，让我遇到困难时能坚强地面对。
尚鸿致谢：
感谢安全业务测试组的小伙伴，工作中与他们的思想碰撞开阔了我的思路，他们在精准测试中的思考也给了我很大的帮助。特别感谢cody、彪哥和patia，得益于他们的指导在精准测试实践项目中我才能有所总结和突破。
最后感谢我的家人，是他们的支持和鼓励才能让我更专心的投入工作，享受工作带来的成就感。
王媛致谢：
感谢桌管测试团队对精准测试技术的不断探索和研究，让我能够将该技术实践于具体项目中，并有幸参与本书的写作，从而提升了技能，开拓了视野；感谢家人对我工作的支持和理解。
熊彪致谢：
感谢测试团队对测试质量与效率的极致追求，感谢我的家人对我工作的支持与理解。
杨春喜致谢：
感谢职业领路人刘建生先生在应用宝精准测试技术上的指导，感谢应用宝测试小伙伴在实施过程不断的思想碰撞让精准测试在应用宝版本测试中非常完善的落地下来，成为应用宝质量保证的不可或缺的利器。感谢本书的主编李德广先生让应用宝在精准技术实施的案例能够有机会跟大家一起交流。如果你希望更加了解你的被测对象，进而制定出非常专业的测试策略，此书将非常适合您。
张艳致谢：
感谢cody、gandalf在精准测分方面给我们带来的指导、灵感和思路，能与你们一起参与这本书的写作倍感荣幸；感谢电脑管家测试组的所有小伙伴，谢谢你们对我工作中的各种帮助和支持，与你们成为同事真的好开心；感谢所有合作过的开发、产品、运营等等所有的同事，与你们合作，我受益良多；最后，感谢家人，尤其是茜茜小朋友对我工作一如既往的理解与支持，你们一直是我最坚实的后盾，爱你们。
赵燕致谢：
首先要感谢我的领导李德广和高安东在工作中给予我的帮助和指导，其次要感谢我同组的小伙伴长久以来的支持和帮助，最后要感谢我的家人在生活中给予我无微不至的关怀，让我能够专心致志地工作。
朱伟鸿致谢：
感