metadate and backpressure

metedate 表示爲元數據

什麼是元數據

  任何文件系統中的數據分爲數據和元數據。數據是指普通文件中的實際數據,而元數據指用來描述一個文件的特徵的系統數據,諸如訪問權限、文件擁有者以及文件數據塊的分佈信息(inode...)等等。在集羣文件系統中,分佈信息包括文件在磁盤上的位置以及磁盤在集羣中的位置。用戶需要操作一個文件必須首先得到它的元數據,才能定位到文件的位置並且得到文件的內容或相關屬性。

 

元數據管理方式

  元數據管理有兩種方式。集中式管理和分佈式管理。集中式管理是指在系統中有一個節點專門司職元數據管理,所有元數據都存儲在該節點的存儲設備上。所有客戶端對文件的請求前,都要先對該元數據管理器請求元數據。分佈式管理是指將元數據存放在系統的任意節點並且能動態的遷移。對元數據管理的職責也分佈到各個不同的節點上。大多數集羣文件系統都採用集中式的元數據管理。因爲集中式管理實現簡單,一致性維護容易,在一定的操作頻繁度內可以提供較滿意的性能。缺點是單一失效點問題,若該服務器失效,整個系統將無法正常工作。而且,當對元數據的操作過於頻繁時,集中的元數據管理成爲整個系統的性能瓶頸。

  分佈式元數據管理的好處是解決了集中式管理的單一失效點問題, 而且性能不會隨着操作頻繁而出現瓶頸。其缺點是,實現複雜,一致性維護複雜,對性能有一定影響

 

Backpressure

(1)Backpressure,就是消費者需要多少,生產者就生產多少。這有點類似於TCP裏的流量控制,接收方根據自己的接收窗口的情況來控制接收速率,並通過反向的ACK包來控制發送方的發送速率。這種方案只對於cold Observable有效。 coldObservable是那些允許降低速率的發送源,比如兩臺機器傳一個文件,速率可大可小,即使降低到每秒幾個字節,只要時間足夠長,還是能夠完成的。相反的例子就是音視頻直播,速率低於某個值整個功能就沒法用了(這種類似於hot Observable)。

https://www.cnblogs.com/ShouWangYiXin/p/10326642.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章