原创 Kettle連接oracle 19c數據庫問題解決辦法

對於jdbc 連接數據庫時,url兼容兩種模式如下: 1、"jdbc:oracle:thin:@127.0.0.1:1512:pdb" 2、"jdbc:oracle:thin:@127.0.0.1:1512/pdb" 第1中模式端口後使用

原创 sqoop-import 並行抽數及數據傾斜解決

最近在數據中臺的數據抽數優化工作,由於單表數據量太大(每天千萬級別)導致sqoop抽數使用單實例報內存溢出以及抽數時間過長,決定採用sqoop的多實例並行抽數,參考了一些文檔,但同時遇到了一些問題,趁有點時間把遇到問題的解決方法寫下來供大

原创 安裝Kienct驅動後出現"no ready kinect found" 解決方案

注意: 我原來用的1.8版本,但是無腦安裝後運行例子發現出現no ready kinect found警告,我非常呵呵,網上找了一些英文帖子說要重啓。我重啓後也不行。 試過幾次之後果斷放棄1.8版本 改用1.7版本 在官

原创 分類算法之樸素貝葉斯分類(Naive Bayesian classification)

0、寫在前面的話       我個人一直很喜歡算法一類的東西,在我看來算法是人類智慧的精華,其中蘊含着無與倫比的美感。而每次將學過的算法應用到實際中,並解決了實際問題後,那種快感更是我在其它地方體會不到的。       一直想寫關於

原创 ply文件格式詳細說明

典型的   PLY   文件結構: 頭部 頂點列表 面片列表 (其他元素列表) 頭部是一系列以回車結尾的文本行,用來描述文件的剩餘部分。頭部包含一個對每個元素類型的描述,包括元素名(如“邊”),這個元素在工程裏有多少,以及一 個與這個元素

原创 OpenCV讀取和顯示圖片

一、從文件讀取圖像並顯示 1. 程序 在基於VS2013搭建OpenCV開發環境這篇文章的最後給出了一個簡單的Demo,這個例子跟本篇使用的例子是一樣的。打開C++ IDE並創建一個新的項目,新建一個源文件,粘貼下面的代碼

原创 C++ 封裝RapidJson把一個類Json序列化和反序列化

很多人都知道rapidjson這個json庫,大家也都知道他的高效,可是你一定也對他的使用方法,函數API接口感受到非常不適應,你一定非常懷念使用java和C#對一個實體類的那麼輕鬆加簡單的直接json序列化,是的本篇博客將免費開源一個我

原创 在eclipse中配置opencv開發環境

其實opencv對圖片的開發更多的是使用c++、python、和matlab。用Java語言的還是很少的。現在對我用Java的eclipse來實現的開發環境做一個小結。 我下載的是opencv-2.4.10。 大家可以參考官網上的配置(h

原创 巧用 DB2 遞歸 SQL

開始之前 遞歸 SQL 是在關係數據庫中解析層次結構數據的非常有效手段。它可以用於高效地查詢組織架構、零件表單、定單系統、網絡結構等層次型數據。雖然遞歸 SQL 的語法較一般 SQL 要複雜一些,但只要理解了其基本原理和幾個基本組

原创 Visual Studio 2010下的OpenCV 2.4.10安裝過程

學生可以獲取Visual Studio Professional的正版拷貝,就不要去下載什麼破解版了,Qt不支持微軟免費的Express版本,所以建議學生黨不要去考慮Express版。 OpenCV文件夾的準備 官網下載最新Ope

原创 Hadoop源碼解讀-Job初始化過程

首先看看Hadoop ssh 腳本    elif [ "$COMMAND" = "jar" ] ; then       CLASS=org.apache.hadoop.util.RunJar 任務遞交。 WordCount 裏面有一句

原创 缺少hadoop.dll,以及winutils.exe

大家在window連接Hadoop集羣時應該都遇到了相同的問題: (1)缺少winutils.exe回報如下錯誤:Could not locate executable null \bin\winutils.exe in the hado

原创 OpenCV數據結構之Mat

在講解Mat之前,先來介紹一些基礎知識。 陣列的數據類型 陣列的數據類型定義了爲陣列的每個元素(圖片中的像素)分配的比特數以及如何使用這些比特數表示元素的值。任何陣列的元素都應該有下面數據類型的一種: 單通道陣列 CV_8U (8