原创 HBase的退格鍵back鍵使用方法（解決無法使用退格鍵的問題）
Ctrl鍵 + 退格鍵即可 或者移動光標到需要刪除的誤輸入字符位置使用Del鍵 和常規的操作有所不同
2020-06-21 01:26:27
原创 修改npm爲國內源
這裏寫自定義目錄標題修改npm爲國內源 修改npm爲國內源 npm config set registry https://registry.npm.taobao.org npm config set disturl https:
2020-06-21 01:26:27
原创 Hive 3.0.0 支持的 Spark 版本是2.3.0 另有全部版本的對應表
Hive on Spark 對應的Hive支持對應的Spark版本 需要到Hive源碼的pom文件中去查看（幾千行） Hive 3.0.0 支持的 Spark 版本是2.3.0 <spark.version>2.3.0</sp
2020-06-07 22:35:19
原创 親測解決c++/cpp 20 sequence not ordered
問題定義 情景說明，在使用c++ 20特性並進行2個數組merge的操作 #include <iostream> #include <algorithm> #include <iterator> int main() {
2020-05-08 12:18:03
1
原创 spark 2.0.2 出現各種未知問題 不支持scala的最新版
spark 只支持scala 2.11.x，沒有＋這個符號，高了低了都無法使用。 點贊 2 收藏 分享 文章舉報 上海菁數信息技術 發佈了61 篇原創文章 · 獲贊 26
2020-02-21 11:43:37
原创 (待完成)使用sqoop將mysql中的數據導入HDFS中，含sqoop配置與安裝
hadoop提供了shell命令與java api接口來上傳文件到HDFS中 本地的文件和文件直接使用shell命令就可以了 將數據庫中的數據導入HDFS，需要調用使用sqoop工具，本質也是調用了HDFS提供的java api，並
2020-02-21 11:43:36
原创 kylin restful使用驗證失敗解決
curl -c /path/to/cookiefile.txt -X POST -H "Authorization: Basic QURNSU46S1lMSU4K=" -H 'Content-Type: application/json'
2020-02-21 11:43:36
原创 上傳本地文件到HDFS spark可以直接使用
spark進行運算時需要先將數據轉換成RDD，然而很多數據是本地的，textFile調用不方便而且耗時耗性能（添加file:///使用）。 所以有了將本地數據先上傳至HDFS的現實業務需求。 1. 創建文件（使用已有文件夾跳過此步） 切
2020-02-21 11:43:36
原创 spark 2.0.2 2.1.0 sparksql 支持 hive table 但是！版本有限制！
因爲要對hive metastore及元數據庫有鏈接操作，所有有一定的接口限制。 只做了對0.12.0到1.2.1版本的hive的支持。 用了hive2版本的抓緊換吧。 p.s. 2017年3月 現在spark已經2.1在用了。 另外
2020-02-21 11:43:36
原创 更改pip源pypi爲國內源(清華大學)，沒有.pip（即linux ubuntu python pip 換源方法教程）
最新推薦方案： pypi 鏡像使用幫助 pypi 鏡像每 5 分鐘同步一次。 臨時使用 sudo -H pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple some-pack
2020-02-21 11:43:36
原创 Office 2016 Pro Plus \ Project 專業版 \ Visio 專業版 \ 64 位vol版本方便KMS小馬oem
在使用上，零售版和批量授權版並沒有區別，只是授權方式方面的區別，相對而言，VOL 版的更容易激活一些，其他並沒有什麼區別了。 有需要的可以在下面下載：（以下均是 64位VL 版） 版本：Office 2016 Pro Plus
2020-02-21 11:43:36
原创 解決spark-shell執行官方sparkstreaming 報 only one sparkcontext maybe running in this jvm的錯誤
解決： 不執行藍字，更改紅字爲 val ssc = new StreamingContext(sc, Seconds(1)) =======================================================
2020-02-21 11:43:36
原创 ssh localhost “Permission denied (publickey,denfied)解決方案
看LOG 我的系統是ubuntu 14.04.4 LTS $ grep sshd /var/log/auth.log 也可能是別的系統的 $ grep sshd /var/log/audit/audit.log 根據log的情況，
2020-02-21 11:43:36
原创 ubuntu的系統 裝載hadoop spark等配件 空間全部被佔滿了
如題，TAB補全或者touch mkdir時出現了系統沒有可用空間的提示 檢查 /var/log/cups/有TB級大量 error信息 刪除後重新啓動 問題解決 可能跟長期沒有關閉 spark-shell 等任務有關 有待後面研究解決
2020-02-21 11:43:36
原创 Kylin中常用術語
數據倉庫 Data Warehouse: a data warehouse (DW orDWH), also known as an enterprise data warehouse (EDW), is a system used fo
2020-02-21 11:43:35