JaConTeBe benchmark

Abstract

1. 意義：研究人員提出了很多方法來檢測併發錯誤和改善多線程程序，但是對這些方法有效性的評估仍是一個問題
2. 現有的研究中用於檢測這些方法有效性的程序代碼或者是Bug都不具有現實意義的代表性。
3. 論文的工作：爲了提升代表性，論文提出了JaConTebe benchmark，47個併發錯誤；測試用例來描述buggy行爲；驗證檢測方法的有效性；提交到開源庫中

Introduce

1. 很重視併發bug + 非法的交互很容易引入併發錯誤 + 現有的研究提出了很多方法，能檢測錯誤，但在實際中不知道也是否能有效，即方法提出的人使用的被測程序不具有代表性 + 缺乏比較性。
2. 爲了解決bug檢測方法的評估問題，需要benchmark suite（benchmark suit = 併發錯誤 + 測試用例） + benchmark能反應真實併發錯誤的特徵 + benchmark的五個特徵：代表性、多樣性、可移植、可訪問、公平性 + 現有的研究不完全具備，特別是代表性
3. 論文：通過收集現有的benchmark然後引入了自己的benchmark：檢測現有的測試方法的有效性 + 檢測一個方法是否能檢測現實的錯誤（對植入的bug有效，而對現實的bug不一定） + 對比這側檢測方法之間發現bug的強弱能力
4. 論文貢獻
   1、對現有的benchmark調查並他們對現有的併發錯誤方法進行研究，而現有的研究不包含現實的錯誤的benchmark
   2、創建了JaConTeBebenchmark，量化 + 提交到開源社區 + 實現了benchmark被測程序和測試用例
   3、用benchmark檢測三種bug檢測方法的有效性(檢測能力 + 侷限性)

現有的benchmark研究
現有的benchmark suite研究 + 如何檢測方法的有效性(侷限 + benchmark特徵)

1. 現有的benchmark舉例
2. 程序如何使用到評估