原创 hive-site.xml選項解釋
hive的配置： hive.ddl.output.format：hive的ddl語句的輸出格式，默認是text，純文本，還有json格式，這個是0.90以後纔出的新配置； hive.exec.script.wrapper：hive調
2018-12-01 00:04:10
原创 IDEA設置默認的maven環境、加入scala環境、spark-scala項目pom設置、打包、提交命令
當前項目選settings...，以後所有其他項目選settings for new projects... 搜索到maven選項卡，設置三處：maven home、settings.xml、local repository 新建
2018-10-15 04:41:52
1
原创 IDEA獲取git項目
新建文件夾，cd到該文件夾中，在該文件夾中打開git bash 從git服務器上clone項目 git clone ssh://git@host:port/home/git/xzq.git 在idea中open project打開下載下
2018-09-30 05:02:04
2
原创 MySQL僅從.frm和.ibd文件恢復數據
前言 MySQL的數據庫其相關文件都會存放在安裝目錄下data文件夾下的同命文件夾中，不同的存儲引擎創建的表其文件也不一樣，下面來認識下這些數據庫文件。 db.opt 用來記錄該庫的默認字符集編碼和字符集排序規則用的。也就是說如果
2018-09-17 22:53:36
原创 在ECLIPSE下查看JDK源代碼
1.點 “window”-> "Preferences" -> "Java" -> "Installed JRES" 2.此時"Installed JRES"右邊是列表窗格，列出了系統中的 JRE 環境，選擇你的JRE，然後點邊上的 "E
2018-09-13 05:27:59
原创 利用IntelliJ IDEA與Maven開始你的Scala之旅
一. IntelliJ IDEA安裝及配置 1.1 IntelliJ IDEA下載及安裝 首先在 CHOOSE YOUR EDITION 這裏選擇Community版本，這個版本是免費提供的，對我們的Spark使用來說，用這個版本已
2018-09-09 19:42:37
原创 海量數據遷移經驗
1、目標表必須爲裸表，即不包含任何索引、觸發器、外鍵限制、自增列等，導入完成後再添加回來 2、關閉目標數據庫日誌，完成後再開啓 3、使用事務批量提交（1~2萬每次） 4、如果有多個數據源，使用多線程同時插入。
2018-09-09 19:42:36
3
原创 hive錯誤記錄
1、 org.apache.hadoop.hive.metastore.api.MetaException: Exception thrown when executing query : SELECT DISTINCT 'org.apa
2018-08-21 23:08:29
原创 Mapreduce中Mapper、Partition、Reducer數目的確定與關係
Mapper：由客戶端分片情況決定，客戶端獲取到輸入路徑的所有文件，依次對每個文件執行分片，分片大小通過最大分片大小、最小分片大小、hdfs的blocksize綜合確定，分片結果寫入job.split提交給yarn，對每個分片分配一個Ma
2018-08-21 23:08:29
原创 Maven問題筆記
1、使用maven構建引用hadoop的jar包的項目時會出現該錯誤 解決方法是在pom.xml中加入 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.
2018-08-21 23:08:29
原创 spark錯誤記錄
1，Task in stage had a not serializable result: lambda表達式id或某對象id Serialization stack: - object not serializable（clas
2018-08-21 23:08:29
原创 hadoop詳解參考教程
Hadoop NameNode 高可用 (High Availability) 實現解析 https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/ h
2018-08-21 23:08:29
原创 spark筆記
1，spark項目必須添加spark-core/hadoop-common/scala-library三個包 2，spark支持lambda表達式，返回值須指明具體類型，如Tuple2<String,Integer> 3，將結果保存爲一個
2018-08-21 23:08:29
原创 JavaFX Dialog實現（JDK8提示框）
JavaFX 8u40 finally includes simple Dialogs and Alerts! I’ve been waiting for this since 2012! In the meantime I wrot
2018-08-21 23:08:29
4