Hive快速入門系列(17) | Hive性能調優 [四] 並行執行

  此次博主爲大家帶來的是Hive性能調優中的並行執行。

---

  Hive會將一個查詢轉化成一個或者多個階段。這樣的階段可以是MapReduce階段、抽樣階段、合併階段、limit階段。或者Hive執行過程中可能需要的其他階段。默認情況下，Hive一次只會執行一個階段。不過，某個特定的job可能包含衆多的階段，而這些階段可能並非完全互相依賴的，也就是說有些階段是可以並行執行的，這樣可能使得整個job的執行時間縮短。不過，如果有更多的階段可以並行執行，那麼job可能就越快完成。
  通過設置參數hive.exec.parallel值爲true，就可以開啓併發執行。不過，在共享集羣中，需要注意下，如果job中並行階段增多，那麼集羣利用率就會增加。

set hive.exec.parallel=true;              //打開任務並行執行
set hive.exec.parallel.thread.number=16;  //同一個sql允許最大並行度，默認爲8。

  當然，得是在系統資源比較空閒的時候纔有優勢，否則，沒資源，並行也起不來。

  本次的分享就到這裏了,

---

  $\color{#FF0000}{看完就贊，養成習慣！！！}$^ _ ^ ❤️ ❤️ ❤️
  碼字不易，大家的支持就是我堅持下去的動力。點贊後不要忘了關注我哦！