發表時間：2021
文章要點：這篇文章主要是設計了一個用來做experience replay的框架Reverb，主要是把experience replay擴展到了分佈式和多臺機器上（Reverb is designed to work efficiently in distributed configurations with up to thousands of concurrent clients.）。大概的思路就是把data generators (actors)和data consumers (learners)都搞到多臺機器上了，然後數據的存儲上做了一些壓縮，同時檢索的性能以及採樣的性能都做了對應的實現。
總結：本來不打算看框架之類的，不過一看是deepmind發的，還是看看比較好。
疑問：裏面設計了很多計算機方面的術語，看不大懂。