原创 python圖片轉換案例：內含多種場景的案例
廢話不多說！上來就是精華 案例一: 業務場景: 一個文件夾中有很多圖片,圖片的格式有兩種一個是TIF,一個是GIF，兩兩對應，如果有單獨的存在,那麼就需要把對應的給圖片轉換出來 例如：只有1.GIF 那麼我就需要將1.TIF
2020-07-06 23:22:39
原创 SparkSQL讀取MongoDB數據
首先導入POM文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:
2020-06-16 02:40:28
原创 Sqoop報錯信息: Hive exited with status 88
錯誤信息: 原因很簡單 是因爲導入時提示沒有相應的數據庫 例如: 再次嘗試導入到HIVE: 成功
2020-06-16 02:40:28
1
原创 MonggoDB:從入門到精通(強烈推薦!)
NoSQL 簡介 NoSQL(NoSQL = Not Only SQL )，意即"不僅僅是SQL"。 在現代的計算系統上每天網絡上都會產生龐大的數據量。 這些數據有很大一部分是由關係數據庫管理系統（RDBMS）來處理。 1970年
2020-06-16 02:40:28
原创 Python連接ODBC對Mysql進行操作[解決你安裝ODBC驅動過程中所有能遇到的問題]
所需要的軟件全在連接裏面 https://pan.baidu.com/s/1bdac2fmZL4HRmU0DPbdVMg提取碼:8n94 下面開始進行安裝ODBC驅動 ODBC(Open Database Connectivity
2020-06-16 02:40:28
3
原创 MongoDB 刪除集合
本章節我們爲大家介紹如何使用 MongoDB 來刪除集合。 MongoDB 中使用 drop() 方法來刪除集合。 語法格式： db.collection.drop() 參數說明： 無 返回值 如果成功刪除選定集合，則 d
2020-06-16 02:40:28
原创 MongoDB:什麼是MongoDB ?
什麼是MongoDB ? MongoDB 是由C++語言編寫的，是一個基於分佈式文件存儲的開源數據庫系統。 在高負載的情況下，添加更多的節點，可以保證服務器性能。 MongoDB 旨在爲WEB應用提供可擴展的高性能數據存儲解決方案
2020-06-16 02:40:28
原创 SparkSQL插入數據到MongoDB
首先導入POM文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:
2020-06-16 02:40:28
1
原创 最詳細解決Hive異常:Column length too big for column PARAM_VALUE
異常介紹 用sqoop時出現中文亂碼，就改了mysql的編碼，順便把hive關聯的數據庫刪掉了，重新生成，之後出現 MetaException(message:An exception was thrown while addi
2020-06-16 02:40:28
原创 EalsticSearch+Head+Kibana最詳細的安裝過程
EalsticSearch開箱即用 聲明:JDK1.8,最低要求， 安裝內容:EalsticSearch客戶端，head，kibana 官網:https://www.elastic.co/cn/elasticsearch/
2020-06-16 02:40:28
原创 大數據數倉項目Kylin[介紹]
Kylin 大數據OLAP引擎 Kylin簡介 Kylin的誕生背景： Kylin-中國團隊研發的，是第一個真正由中國人自己主導、從零開始、自主研發、併成爲Apache頂級開源項目 Hive的性能比較慢，支持SQL靈活查詢，特別
2020-05-13 22:46:57
原创 大數據數倉項目Kylin[安裝]
Kylin安裝 資源下載:https://pan.baidu.com/s/1ot-vIOO64yiuGFG2GPSZEg 提取碼:8yau 依賴環境： 軟件 版本 Apache hbase-1.1.1-bin.tar
2020-05-13 22:46:57
1
原创 大數據離線數據數據倉庫項目(一)
千億級數倉項目 總體介紹 階段一 瞭解行業背景、瞭解項目背景，項目架構介紹、技術選型，項目環境（數據/硬件）介紹，項目ER圖、項目需求介紹。 基於項目需求實現查詢功能（寫SQL）或整理出查詢流程 階段二 學習、掌握ket
2020-05-07 02:02:34
原创 Kettle調優總結
Kettle調優總結 調整JVM大小進行性能優化，修改Kettle根目錄下的Spoon腳本。 參數參考： -Xmx2048m：設置JVM最大可用內存爲2048M。 -Xms1024m：設置JVM促使內存爲1024m。此值可
2020-05-05 06:05:38
原创 Kettle:千億數據倉庫整合大數據平臺[不學白不學]！！！保證你收益匪淺
Kettle整合大數據平臺 Kettle整合Hadoop: Hadoop環境準備 查看hadoop的文件系統 通過瀏覽器訪問 http://node1:50070/ 通過終端訪問 hadoop fs -ls / # 查看
2020-05-01 21:05:33