原创 由文件權限引發的flink實踐坑解決經過
現在參照@Jeff Zhang 簡鋒的教程進行Flink on Zeppelin的實時Streaming讀寫數據，學習在Zeppelin中使用Flink的Streaming功能。但在練習過程中，在搭建環境和進行測試數據導入時，
2020-06-30 20:54:39
原创 pig故障解決
pig一段時間沒用，生疏了些，遇到幾個錯誤，小問題，但記錄之。 1.錯誤1 INFO org.apache.pig.impl.util.Utils - Default bootup file /tmp/.pigbootup not fo
2020-06-16 06:26:13
1
原创 hadoop的datanode新建異常處理
新部署一個節點。部署完畢後，啓動datanode,沒起來,錯誤如下： STARTUP_MSG: Starting DataNode STARTUP_MSG: host = node-128-99/192.168.1.99 STARTU
2020-06-16 06:26:13
原创 pig Explain詳解
有如下代碼: <pre name="code" class="java"> b = load '/in_off/tree/20140101/*' as (date,uid); c = sample b 0.01; d = limit
2020-06-16 06:26:13
1
原创 Pig年末數據失敗之謎
Pig年末數據失敗之謎.有個好好的作業，每月都正常運行，忽然過了10月，結果不正常了。 左看右看，發現，原來pig在加載數據時候，load "/xxxx/20140*'; 害死我了，怪不得10月以後數據不正常了。立此爲據。
2020-06-16 06:26:12
原创 Pig優化之路之巧用Macro
部署好了hadoop集羣后，安裝完畢hive,pig...後一個大數據的美好入口就建立了。我們可以用hive來做基於結構化表格的數據分析，用pig來做數據清洗，數據挖掘等工作。 特別在實踐中，感覺Pig很不錯
2020-06-16 06:26:12
原创 hadoop SNN故障解決
集羣上線一陣子了。發現SNN 日誌有如下問題: 2013-10-28 16:38:16,280 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Opening co
2020-02-20 13:06:18
原创 Spark SQL深度理解
作者 張包峯 Catalyst Catalyst是與Spark解耦的一個獨立庫，是一個impl-free的執行計劃的生成和優化框架。 目前與Spark Core還是耦合的，對此user郵件組裏有人對此提出疑問，見mail。 以下
2020-02-20 13:06:07
原创 hadoop的"mapred.ReduceTask: java.net.ConnectException: Connection timed out"問題解決
集羣某節點91有故障發生，出現 2013-11-08 08:32:13,908 WARN org.apache.hadoop.mapred.ReduceTask: attempt_201311061017_18902_r_000000
2020-02-20 13:06:06
原创 Hive HA參加阿里雲大賽，請大家投票支持
Hive HA 參加2013阿里雲大賽，請兄弟姐妹們支持！詳細說明見前前面博客。 投票地址： http://dasai.aliyun.com/signup/works2013/?search=471 每天朋友們可以最多投10票啊，謝謝啊
2020-02-20 13:06:06
原创 ganglia的疑難雜症
配置ganglia系統，發現配置的2個分組裏只出現一個。 跟蹤錯誤日誌如下: /usr/sbin/gmetad[9290]: data_thread() got no answer from any [bf_hbase] datasour
2020-02-20 13:06:06
原创 Hive HA使用說明
hive讓大數據飛了起來，不再需要專人寫MR。平常我們都可以用基於thrift的任意語言來調用hive。 不過愛恨各半，hive的thrift不穩定也是出了名的。很容易就出問題，讓人無計可施。唯一的辦法就是不斷ki
2020-02-20 13:06:06
2
原创 Spark 1.2.1 發佈，開源集羣計算系統
Spark 1.2.1 發佈，此版本是個維護版本，包括 69 位貢獻者，修復了一些 Spark 的 bug，包括核心 API，Streaming，PySpark，SQL，GraphX 和 MLlib 方面的。更多改進內容請看發行說明，此
2020-02-20 13:06:06
原创 hadoop的datanode異常結束
集羣datanode節點掛掉一個。錯誤如下: 2013-11-18 02:01:13,730 ERROR org.apache.hadoop.hd
2020-02-20 13:06:06
原创 hadoop節點故障解決一例
一臺服務器故障，硬盤出問題，修復後，啓動datanode。出現如下錯誤。 <pre name="code" class="javascript">2014-09-24 09:45:55,730 ERROR org.apache.hadoo
2020-02-20 13:06:06
1