原创 用scala的Actor模仿MapReduce寫一個分佈式wordcount
package com.ycit.scala.demo.com.ycit.scala.day_02.com.ycit.scala.actor import java.io.File import scala.actors.{Act
2019-06-10 18:33:03
原创 Hbase中常見的幾種過濾器的使用方法
過濾器的種類： 列植過濾器—SingleColumnValueFilter 過濾列植的相等、不等、範圍等 列名前綴過濾器—ColumnPrefixFilter 過濾指定前綴的列名 多個列名前綴過濾器—Multipl
2019-05-13 04:18:39
原创 java API操作Hbase
package com.ycit.hbase.test; import java.io.IOException; import java.util.ArrayList; import org.apache.hadoop.conf.C
2019-05-13 04:18:39
原创 hbase啓動後HMaster進程自動關閉和啓動報錯zookeeper.RecoverableZooKeeper: Node
進程自動關閉問題解決方案 1、情況描述如題所示，hbase啓動以後，HMaster進程啓動了，幾秒鐘以後自動關閉，但是HRegionServer進程正常運行； 原因是，hdfs的默認端口號是8020，而我core-site.xml中將hd
2019-05-13 04:18:39
1
原创 hive中的內置函數parse_url_tuple() 和內置函數 lateral view的用法
hive中的內置函數parse_url_tuple() 和內置函數 lateral view 1.parse_url () 解析URL字符串，partToExtract的選項包含[HOST,PATH,QUERY,REF,PROTOCOL,
2019-05-11 03:26:47
7
原创 解決Azkaban啓動時出現 The datetime zone id 'Asia/Shanghai ' is not recognised
排查發現是Azkaban的配置文件azkaban-web-2.5.0/conf/azkaban.properties中的時區配置後面多了一個空格導致 注意：Azkaban的配置文件中不能有空格 啓動成功的標誌:
2019-04-28 21:23:59
原创 Sqoop: ERROR manager.SqlManager: Error reading from database: java.sql.SQLException:
後面加上驅動就ok
2019-04-28 21:23:58
原创 java實現貪心算法（揹包問題）
package com.ycit.greedypackage; import java.util.Arrays; public class GreedyPackage { private int MAX_WEIGHT=150;
2019-04-27 21:27:08
原创 分治算法（循環賽事問題，L型棋盤問題）
循環賽事 package com.ycit.sportsschedule; public class SportsSchedule { public void sportsSchedule(int n,int[][] tables)
2019-04-27 21:27:08
原创 java利用窮舉的思想實現 泊松分酒算法
泊松分酒算法及實現思路 package com.ycit.sharewine; /** * @author 江鵬飛 * 泊松分酒 * 1-->2-->3--1 * 如果第二個容器爲空 ，將第一個容器的酒倒入第二個容器，再將第二
2019-04-23 18:22:44
原创 java實現基數排序
package com.ycit.sortSelect; import java.util.ArrayList; import java.util.List; /** * @author 江鵬飛 * 基數排序 * 思路: 1.
2019-04-20 23:48:29
原创 java二分法查找（遞歸，非遞歸實現）
package com.ycit.search; import com.ycit.sortSelect.BasicSort; /** * @author 江鵬飛 * 二分查找 遞歸方式與非遞歸方式 */ public clas
2019-04-20 23:48:29
原创 java實現排序（二分法，選擇排序，直接插入排序，冒泡排序，希爾排序）
二分法 package com.ycit.sortSelect; import java.sql.Array; import java.sql.ResultSet; import java.sql.SQLException; impo
2019-04-14 17:47:14
原创 淺談自己對HDFS的理解
設計思想 分而治之：將大文件、大批量文件，分佈式存放在大量服務器上，以便於採取分而治之的方式對海量數據進行運算分析； 在大數據系統中作用： 爲各類分佈式運算框架（如：mapreduce，spark，tez，……）提供數據存儲服務
2019-04-12 16:58:19
原创 用java api（用流的方式）對HDFS進行增刪改查
import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import java.util.Iterator; im
2019-04-12 16:58:19
2