从理论到工具：带你全面了解自动化测试框架

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"软件行业正迈向自主、快速、高效的未来。为了跟上这个高速前进的生态系统的步伐，必须加快应用程序的交付时间，但不能以牺牲质量为代价。快速实现质量是必要的，因此质量保证得到了很多关注。为了满足卓越的质量和更快的上市时间的需求，自动化测试将被优先考虑。对于微型、小型和中型企业(SMEs)来说，自动化自身的测试过程是非常必要的，而最关键的方面是选择正确的自动化测试框架。"}]},{"type":"heading","attrs":{"align":null,"level":3},"content":[{"type":"text","text":"什么是自动化测试框架？"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"自动化测试框架是为自动化测试脚本提供执行环境的脚手架。框架为用户提供了各种优势，帮助他们有效地开发、执行和报告自动化测试脚本。它更像是一个专门为自动化组织的测试而创建的系统。简而言之，我们可以说框架是各种指导方针、编码标准、概念、过程、实践、项目层次、模块化、报告机制、测试数据注入等要素的建设性混合，以此支撑自动化测试。因此，用户在自动化应用程序以利用各种生产性结果时可以遵循这些指导原则。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":"br"}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"这些优势可以是不同的形式，如易于编写脚本、可伸缩性、模块化、可理解性、过程定义、可重用性、成本、维护等。因此，为了能够获得这些好处，建议开发人员使用一个或多个自动化测试框架。此外，当有一群开发人员在同一个应用程序的不同模块上工作时，以及当我们希望避免每个开发人员实现自己的自动化方法的情况下，需要一个统一的标准测试自动化框架。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https://static001.geekbang.org/infoq/52/523feebf77978f76f5c1c8e849b59ed3.jpeg","alt":"","title":null,"style":null,"href":null,"fromPaste":true,"pastePass":true}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"heading","attrs":{"align":null,"level":3},"content":[{"type":"text","text":"自动化测试框架的类型"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"市场上的自动化测试框架可能因支持不同的关键因素（如可重用性、易维护性等）而有所不同。如以下几种类型："}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●基于模块的测试框架"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●测试库架构框架"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●数据驱动测试框架"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●关键字驱动测试框架"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●混合测试框架"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●行为驱动开发框架"}]},{"type":"heading","attrs":{"align":null,"level":3},"content":[{"type":"text","text":"自动化测试框架的优势"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"除了自动化测试所需的最少的手动干预外，使用测试自动化框架还有许多优点："}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":"br"}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●"},{"type":"text","marks":[{"type":"strong"}],"text":"更快的上市时间："},{"type":"text","text":"通过允许测试用例的持续执行，使用一个好的测试自动化框架有助于减少应用程序的上市时间。一旦自动化，测试库的执行将比手动测试更快，运行时间也更持久。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":"br"}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●"},{"type":"text","marks":[{"type":"strong"}],"text":"早期缺陷检测："},{"type":"text","text":"对于测试团队来说，软件缺陷的文档记录变得相当容易。它提高了总体开发速度，同时确保了跨区域的正确功能。问题发现的越早，解决成本就越低，采用自动化测试框架的效益也就越高。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":"br"}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●"},{"type":"text","marks":[{"type":"strong"}],"text":"提高测试效率："},{"type":"text","text":"测试占据了整个开发生命周期的重要部分。即使是总体效率的最轻微的改进也会对项目的整个时间框架产生巨大的影响。尽管最初的设置时间较长，但自动化测试最终所占用的时间要少得多。它们实际上可以在无人值守的情况下运行，在进程的最后时刻对结果进行监视。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●"},{"type":"text","marks":[{"type":"strong"}],"text":"更高的投资回报率："},{"type":"text","text":"虽然最初的投资可能较高，但自动化测试可以长期为组织节省支出。这是由于运行测试所需的时间减少，从而导致工作质量更高。这反过来降低了发布后的故障概率，从而降低了项目成本。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●"},{"type":"text","marks":[{"type":"strong"}],"text":"更高的测试覆盖率："},{"type":"text","text":"在自动化测试中，可以对应用程序执行更多的测试，这将带来更高的测试覆盖率。增加测试覆盖率可以测试更多的特性和应用程序的质量。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"●"},{"type":"text","marks":[{"type":"strong"}],"text":"自动化测试的可重用性："},{"type":"text","text":"在测试自动化中，测试用例的重复性可以帮助软件开发人员评估程序的反应，以及相对简单的设置配置。自动化测试用例可以通过不同的方法来使用，因为它们是可重用的。"}]},{"type":"heading","attrs":{"align":null,"level":3},"content":[{"type":"text","text":"十大自动化测试框架"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"1.机器人框架"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"如果是希望在测试自动化工作中使用python测试自动化框架，Robot框架是最佳选择。Robot框架基于Python，但也可以使用Jython（Java）或IronPython（.NET）。Robot框架使用关键字驱动的方法来简化测试的创建。Robot框架还可以测试MongoDB、FTP、Android、Appium等。它有许多测试库，包括Selenium WebDriver库和其他有用的工具。它有很多API来帮助它尽可能地扩展。Robot框架使用的关键字方法对于那些已经熟悉其他基于供应商的关键字驱动的测试工具的测试人员非常有用，这使得他们更容易过渡到开源。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"2.网络驱动（WebDriverIO）"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"WebdriverIO是一个基于Node.js的自动化测试框架。它有一个集成的测试运行器，可以为web应用程序和本地移动应用程序运行自动化测试。同时，它可以在WebDriver协议和Chrome Devtools协议上运行，使它对基于Selenium WebDriver的跨浏览器测试或基于Chromium的自动化都有效。由于WebDriverIO是开源的，你可以得到一堆插件来满足你的自动化需求。“Wdio安装向导”使安装简单和容易。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"3.Citrus"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Citrus是一个开源框架，您可以使用它自动化任何消息传递协议或数据格式的集成测试。对于任何类型的消息传递，如REST、HTTP、SOAP或JMS，Citrus框架将适合测试消息传递集成。如果您需要与用户界面交互，然后验证后端流程，那么可以将Citrus与Selenium集成。例如，如果您必须单击“发送电子邮件”按钮并在后端验证电子邮件是否已收到，柑橘可以接收此电子邮件或UI触发的JMS通信，并验证后端结果，所有这些都在一个测试中完成。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"4.Cypress"}]},{"type":"heading","attrs":{"align":null,"level":4}},{"type":"image","attrs":{"src":"https://static001.geekbang.org/infoq/a6/a67db7d94df6ef9a9e09f0a82e7829ff.png","alt":"","title":null,"style":null,"href":null,"fromPaste":true,"pastePass":true}},{"type":"heading","attrs":{"align":null,"level":4}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Cypress是一个以开发人员为中心的测试自动化框架，它使测试驱动开发(TDD)成为开发人员的现实。它的设计原则是能够打包和捆绑所有东西，使整个端到端测试体验愉快和简单。Cypress的架构与Selenium不同;Selenium WebDriver远程运行在浏览器外部，而Cypress运行在浏览器内部。这种方法有助于理解浏览器内部和外部发生的一切，从而提供更一致的结果。它不需要您处理对象序列化或在线协议，同时为您提供对每个对象的本机访问。当您将应用程序拉入浏览器时，Cypress可以同步通知您浏览器内发生的每一件事情，这样您就可以本机访问每个DOM元素。它还使得在应用程序中放置调试器变得很容易，这反过来又使开发人员工具的使用变得更容易。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"5.Selenium"}]},{"type":"heading","attrs":{"align":null,"level":4}},{"type":"image","attrs":{"src":"https://static001.geekbang.org/infoq/f8/f8f35dfc28b4d624e5bdd009722d8ddc.png","alt":"","title":null,"style":null,"href":null,"fromPaste":true,"pastePass":true}},{"type":"heading","attrs":{"align":null,"level":4}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"web应用程序最流行的开源测试自动化框架之一。Selenium还可以作为许多其他测试工具的基础，因为它具有跨平台和跨浏览器的功能。Selenium支持多种编程语言，如Java、C#、PHP、Python、Ruby等。它易于维护，因为它拥有最大的在线支持网络之一。Selenium可以通过广泛的库和api进行高度扩展，以满足每个人的需求和需求。Selenium是测试人员的首选，因为它可以编写更高级的测试脚本来满足各种复杂程度。它为测试编写提供了一个回放工具，无需学习特定的脚本语言。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"6. Cucumber"}]},{"type":"image","attrs":{"src":"https://static001.geekbang.org/infoq/4d/4d7ff18da392f7d58468e6d0432dbdd8.png","alt":null,"title":"","style":[{"key":"width","value":"100%"},{"key":"bordertype","value":"none"}],"href":"","fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"它是一个跨平台的行为驱动开发（BDD）工具，用于编写web应用程序的验收测试。Cucumber可以快速且容易地设置执行，并允许在测试中重用代码。它支持Python、PHP、Perl、.NET、Scala、Groovy等语言，以易于阅读和理解的格式实现函数验证的自动化。一个好的特性是规范和测试文档都被上传到一个最新的文档中。Cucumber使不熟悉测试的业务涉众更容易阅读代码，因为他们可以轻松地阅读代码，因为测试报告是用商业可读的英语编写的。该代码可以与Selenium、Watir、Capybara等其他框架一起使用。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"7.Gauge"}]},{"type":"image","attrs":{"src":"https://static001.geekbang.org/infoq/69/69f09ace651ba2446a4a58b196ca55ce.png","alt":null,"title":"","style":[{"key":"width","value":"100%"},{"key":"bordertype","value":"none"}],"href":"","fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"它是一个开源工具无关的测试自动化框架，适用于Mac、Linux和Windows。从事TDD和BDD工作的人会喜欢Gauge专注于创建动态/可执行文档。规范——量规自动化测试是在现有的ide（如visualstudio和Eclipse）中使用C、Java和Ruby的降价语言编写的。Gauge的功能也可以通过对插件的支持进行扩展。它是作为一个BYOT（自带工具）框架开发的。因此，您可以使用Selenium，也可以使用任何其他工具来驱动测试UI或API测试。如果你想要一个可读的非BDD方法来实现自动化，你应该试试Gauge。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"8.Serenity"}]},{"type":"image","attrs":{"src":"https://static001.geekbang.org/infoq/e0/e07a57c05d5bb837f2f9189982546761.png","alt":null,"title":"","style":[{"key":"width","value":"100%"},{"key":"bordertype","value":"none"}],"href":"","fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"如果您正在寻找一个与cumber和JBehave等行为驱动开发（BDD）工具集成的基于Java的框架，那么Serenity可能是适合您的工具。它的目的是使编写自动化验收和回归测试更容易。它还允许您将测试场景保持在较高级别，同时在报告中容纳较低级别的实现细节。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Serenity充当Selenium WebDriver和BDD工具的包装器。它抽象了许多您有时需要编写的样板代码，这使得编写BDD和Selenium测试变得更容易。Serenity还提供了大量的内置功能，例如处理并行运行的测试、WebDriver管理、截屏、管理步骤之间的状态、促进Jira集成，所有这些都不需要编写一行代码。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"9.Carina"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Carina使用流行的开源解决方案构建，如Appium、TestNG和Selenium，这减少了对特定技术栈的依赖。您可以测试移动应用程序（本机、web、混合）、web应用程序、REST服务和数据库。Carina框架支持MySQL、sqlserver、Oracle、PostgreSQL等不同类型的数据库，提供了MyBatis ORM框架实现DAO层的惊人体验。它支持所有流行的浏览器和移动设备，并且在IOS/Android之间重用测试自动化代码高达80%。API测试基于Freemarker模板引擎，它在生成REST请求方面提供了极大的灵活性。Carina是跨平台的，可以在Unix或Windows操作系统上轻松地执行测试。"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"10.ZTF"}]},{"type":"image","attrs":{"src":"https://static001.geekbang.org/infoq/9a/9a83d20e46a6758448f5e40b5a412e3e.png","alt":null,"title":"","style":[{"key":"width","value":"100%"},{"key":"bordertype","value":"none"}],"href":"","fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Zentao Testing Framework，简称ZTF，是一款开源自动化测试管理框架。与市面上已有的自动化测试框架相比，ZTF更聚焦于自动化测试的管理功能。ZTF提供了自动化测试脚本的定义、管理、驱动、执行结果的回传、Bug的创建以及和其他自动化测框架的集成。ZTF使用go语言开发，可以支持各种平台。ZTF支持常见的编程语言，您可以选择您喜欢用的语言来开发自动化测试脚本。通过"},{"type":"link","attrs":{"href":"https://www.zentao.net/u=erin","title":""},"content":[{"type":"text","text":"禅道"}]},{"type":"text","text":"自研的ZTF自动化测试工具，可很好地驱动8种单元测试框架、3种自动化测试框架来执行测试，并把最终结果回传给禅道，进行统一的报告展示。禅道ZTF打通了项目管理和持续集成工具之间的沟壑，贯穿持续集成、持续测试、持续部署等DevOps生命周期的不同阶段。"}]},{"type":"heading","attrs":{"align":null,"level":3},"content":[{"type":"text","text":"总结"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"以上列出的工具大多是已成熟且流行的，它们使用AI/ML提供了测试自动化功能，以解决组织现在面临的快速交付及质量的挑战。此列表还包括提供API和服务测试的工具，这些工具对于成功的DevOps转换至关重要。人工智能、无代码、大数据和物联网测试等新兴技术正在提高测试自动化的效率，同时也为现有的工具和新的参与者创造了机会，使其能够为测试社区带来价值。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":"br"}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"自动化工具的选择不仅应该满足当前需求，还应该关注潜在的趋势和改进。有效的测试自动化工具应该支持基本的优化、数据生成、更智能的解决方案和分析。到目前为止，组织中的测试自动化水平很低，在14%到18%之间。但是组织正在努力将自动化覆盖率提高到80%。API和服务测试也是未来发展的趋势。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}}]}