工具的力量

最近半年的工作都集中在 SQL 分布式执行框架(Parallel eXecution Framework),代码写得差不多了,测试成头等大事。不测试充分无法上线,所有工作都无法兑现成价值。

如何测试呢?我们分为三个阶段:编码阶段、功能测试阶段、性能测试阶段

在编码阶段,手动测试是王道。根据实现的功能针对性写小测试,可以快速验证编码正确性。但手动测试的局限在于覆盖场景非常有限,会遗漏大量场景。所以,后期需要成规模的功能测试介入。

当编码基本完成后,进入功能测试阶段。这个阶段的目的是发现软件中隐藏的绝大多数功能缺陷。为达到这个目的,需要丰富的用例覆盖。我们取了个巧,用非常非常小的代价实现了分布式框架的功能测试覆盖。

mysqltest 里包含了丰富的 SQL 功能测试用例,如果能把这些用例移植到分布式执行场景,一定可以获得非常好的效果。我们通过修改 mysqltest.cc,只增加 20 行代码,将测试用例中的所有 select 语句都转换成分布式模式执行,获得几百个有效的、场景丰富的分布式执行测试用例。

新工具刚刚上线,就发现数个框架 bug,真可谓四两拨千斤!这种感觉,让我想起当年将 pquery 引入到测试体系中的感觉,一跑就 N 个 core,爽得不要不要的 ^_^ 。 pquery 也是围绕 mysqltest 测试集做文章,随机读取 mysqltest 中的语句乱序执行。就这么简单,但效果出奇的好,还是全程无人值守。直到今天, pquery 还在为 OceanBase 默默贡献 bug,正所谓吃进去的是电,吐出来的是 bug。

性能测试阶段,我们计划使用 tpch 1G、100G 数据集来做。大数据量场景下能有效放大性能问题,非常有效!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章