原创 如何參與Impala社區的討論

如果你遇到了Impala相關問題,又苦於不是Cloudera客戶,無法得到技術支持,可以考慮在社區中發起討論。當然,提問之前最好先自行Google,很多問題(特別是老版本的問題)網上已經有答案了。 Apache Impala社區郵

原创 Impala元數據緩存的生命週期

上一篇文章《Impala元數據簡介》介紹了Impala緩存的元數據(Metadata/Catalog)的具體內容,本文將介紹這些元數據緩存的生命週期,即它們是怎麼初始化的,怎麼加載的以及怎麼失效的。 以下是常見的元數據相關的問題,

原创 Impala查詢卡頓分析案例

Impala查詢卡頓分析案例 最近在開發時遇到查詢卡頓(stuck)的情況,感覺比較有代表性,因此記錄一下排查過程。在生產環境中也可以用類似的方法找到卡頓的源頭。 注:本文所用的Impala版本爲3.4.0-SNAPSHOT。Im

原创 在CDH6.3中單獨升級Impala到Apache Impala 3.4

1. 實驗環境 一個CDH6.3.3集羣,部署在三臺Ubuntu16.04機器上 一臺同樣環境的Ubuntu16.04機器用來編譯Apache Impala 3.4 CDH6.3.3對應的Impala基礎版本是Apache I

原创 錯誤的locale設置導致Impala crash

錯誤的locale設置導致Impala crash 今天在編譯cdh5.16.2版本的Impala並加載數據時,發現三個impalad同時crash。在impalad.ERROR裏可以看到錯誤信息: terminate calle

原创 Impala 3.4的新功能和社區進展

Impala 3.4的新功能和社區進展 Impala社區在四月底發佈了3.4版本。這是時隔半年後的又一個新版本,也是最後一個3.x版本。之後將進入4.x時代,爲的是接受一系列 breaking changes,如刪除對過時操作系統

原创 Impala編譯:一個maven編譯錯誤的解決

編譯Impala時遇到了一個maven錯誤,準確地說是編譯testdata模塊時報的錯。我用的指令是 “./buildall.sh -skiptests -format -testdata”,遇到的錯誤如下: ==========

原创 動態調整Impala日誌級別

Impala日誌級別 診斷線上事故時,動態調整日誌級別非常有用,Impala的各個server也提供這樣的能力。每個server都有一個/log_level頁面,如圖: Impala的FE代碼中主要用了FATAL、INFO、TRACE三種

原创 Impala元數據簡介

Impala元數據簡介 背景 Impala是一個高性能的OLAP查詢引擎,與其它SQL-on-Hadoop的ROLAP解決方案如Presto、SparkSQL 等不同的是,Impala對元數據(Metadata/Catalog)做

原创 如何對CDH集羣中的Impala打印線程堆棧

如何對CDH集羣中的Impala打印線程堆棧 上一篇文章《Impala查詢卡頓分析案例》介紹了怎麼對Impala進程打印線程堆棧,JVM部分直接用 jstack 比較直接,但 C++ 部分由於要使用 gdb 或 breakpad

原创 Impala關於ValueTransferGraph一段代碼的疑問解答

Impala關於ValueTransferGraph一段代碼的疑問解答 最近在Review IMPALA-9162 的 patch 的時候,發現ValueTransferGraph有一處代碼不是很顯然: /** * Ad