內存管理分爲三部分:
- Network Buffers:這個是在 TaskManager 啓動的時候分配的,這是一組用於緩存網絡數據的內存,每個塊是32K,默認分配 2048個,可以通過“taskmanager.network.numberOfBuffers” 修改。
- Memory Manage pool:大量的 Memory Segment 塊,用於運行時的算法(Sort/Join/Shuffle 等),這部分啓動的時候就會分配。
- User Code:這部分是除了 Memory Manager 之外的內存用於 User code 和 TaskManager 本身的數據結構。