原创 用java和weka進行分類
用weka進行分類的小程序。 package test.weka; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; i
2020-06-20 00:26:38
2
原创 hive udf&udaf開發
前言 由於之前對hadoop，hive源碼瞭解不多，因此在進行udf和udaf開發時，遇到諸多問題，還是要有時間多看看源碼。 UDF 進行UDF開發主要分爲兩種情況，根據UDF輸入參數的類型進行區分。 調用UDF時傳參是基本數據類
2020-02-22 04:19:16
原创 動態規劃（揹包問題，最長遞增子序列，硬幣問題）java實現
0-1揹包問題 public static int[][] bag(int[] c,int[] v,int m){ int[][] dp=new int[c.length][m+1];for(int i=0;i<c.length;i++)
2020-02-22 04:19:16
1
原创 用java寫的馬踏棋盤算法
用java寫的馬踏棋盤算法 將馬隨機放在國際象棋的8×8棋盤Board[0～7][0～7]的某個方格中，馬按走棋規則進行移動。要求每個方格只進入一次，走遍棋盤上全部64個方格。 代碼 /* 馬踏棋盤問題 思路： 用深度優先遍歷
2020-02-22 04:19:16
原创 二叉樹總結-不斷更新
二叉樹彙總 即將要找工作，刷題時發現對二叉樹的好多概念並不是很明白，畢竟沒學過數據結構。。。特此整理，不斷補充。。。。 一些概念 節點，結點 這兩種
2020-02-22 04:19:16
原创 tcp知識點彙總
Tcp（傳輸控制協議）Transmission Control Protocol 最近發現以前學tcp的時候，根本並沒有理解tcp，整理一下 當應用層向TCP層發送用於網間傳輸的、用8位字節表示的數據流，TCP則把數據流分割成適當長度的
2020-02-22 04:19:16
原创 Hive2ElasticSearch
Hive2ElasticSearch 目標是將hive數據導入到es中。 起初通過讀hive中的表文件使用bulk api來向es推數，但是效率太低，滿足不了大數據的需求。 後來發現es官方提供瞭解決方案es-hadoop。在
2020-02-22 04:19:16
原创 python遠程連接mysql服務器
使用python連接至遠程的mysql服務器 python連接mysql使用MYSQLdb，首先要去下載對應版本的MYSQLdb，分享一個我自己下的 鏈接: http://pan.baidu.com/s/1o8OXU58 密碼: 27j
2020-02-22 04:19:16
原创 elasticsearch 源碼index操作
elasticsearch 源碼index操作 這裏介紹es的文檔索引操作。index操作的入口是TransportIndexAction。對應的RequestHandler是父類中的OperationTransportHandler
2018-09-30 07:10:13
原创 java 代理+註解
java 代理+註解 java註解實際上相當於一個標記，可以在使用時通過反射來獲取方法或者類或者屬性上的註解，來實現註解對應的操作。註解一般配合着代理來同時使用，一般使用註解+代理來實現aop。jdk的Proxy只支持接口代理，也就是
2018-09-30 07:10:13
2
原创 elasticsearch 源碼 創建索引
elasticsearch 源碼 創建索引 創建索引過程，當我們客戶端提交一個創建索引請求時，之前提到了es的transport模塊，在處理請求時，會將請求分發到對應的TransportRequestHandler，而創建索引的入口就
2018-09-13 03:31:42
原创 HIVE STORED&Row format（四）
HIVE STORED&Row format hive表數據在存儲在文件系統上的，因此需要有文件存儲格式來規範化數據的存儲，一邊hive寫數據或者讀數據。hive有一些已構建好的存儲格式，也支持用戶自定義文件存儲格式。主要由兩部分內容構成
2018-09-04 20:09:47
6
原创 HIVE Statistics(三)
HIVE Statistics 介紹 統計信息，例如一個表有多少行，多少個分區，列的直方圖等重要的信息。統計信息的關鍵作用是查詢優化。把統計信息作爲輸入，通過成本優化函數，可以方便的比較不同的查詢方案，並且從中進行最優的執行計劃。統計數據
2018-09-04 20:09:47
原创 elasticsearch 啓動過程源碼（二）
elasticsearch 啓動過程源碼（二） 主要涉及nodebuilder，plugin初始化，node settings更新 注 es 版本1.0 上次我們講到了Bootstrap中的initialSettings，初始化配置文件，
2018-09-04 20:09:46
1
原创 HIVE External&TBLPROPERTIES(二)
HIVE External&TBLPROPERTIES(二) 1.External hive中有兩種表：外部表和內部表（managed and external）。可以通過desc formatted table_name 命令來查看錶的
2018-09-04 20:09:46