原创 linux root創建新用戶筆記
linux創建新用戶 首先以root身份登錄， useradd test 創建一個test用戶，並在home目錄下自動創建一個test目錄 passwd test 設置test的密碼 利用crt遠程登錄的時候會有些小問題要注意 不能使用原
2020-02-26 02:53:16
原创 spark 發佈 2.2.0版本
Apache Spark 2.2.0是2.x分支上的第三次主版本發佈，其他兩個版本分別2.0.x,2.1.x兩個主版本以及下屬的分支版本。這次發佈spark移除了Structured Streaming的實驗標籤。也就是說，這次發佈的版本
2018-09-03 09:48:54
原创 spring-boot 集成swagge（2）
1、前言 我們寫的restful接口是給別人用的，但是，這個接口在怎麼用？資源路徑在哪？參數傳什麼？。。。。。。 這麼多信息寫接口的人是需要提供給接口使用者的。一種方式是寫文檔，大家共享文檔，但是這樣還是比較麻煩，需要不斷的更新文檔，維護
2018-09-03 09:48:50
原创 Hadoop 權限管理
如下圖，hadoop訪問控制分爲兩級，其中ServiceLevel Authorization爲系統級，用於控制是否可以訪問指定的服務，例如用戶/組是否可以向集羣提交Job，它是最基礎的訪問控制，優先於文件權限和mapred隊列權限驗證
2018-09-03 09:48:43
原创 觸發器的小應用
需求描述 最近有一個需求，主要是將另外一個系統的數據導入我所負責的系統中，然後在該數據的基礎上，做一些應用。不要問我，爲什麼不用rest full 接口來做。一則，另外一個系統所用的技術不同，重新開發比較麻煩。另外，由於兩個數據庫類型不同
2018-09-03 09:48:42
原创 美國數據科學家帶你看看大數據的未來
從SGI的首席科學家John R. Masey在1998年提出大數據概念，到大數據分析技術廣泛應用於社會的各個領域，已經走過了17年的時間。現在再也沒有企業懷疑大數據分析的力量，並且都在競相利用大數據來增強自己企業的業務競爭力。但是，即
2018-09-03 09:48:41
原创 spring-boot緩存測試
需求描述 對於頻繁訪問的數據，爲了減少生成數據所需要的成本，我們有時需要對這些頻繁訪問的數據做緩存。對於數據緩存，有很多開源包可以實現，如EHCache ，JCache ，ShiftOne 等。以前做過緩存相關的東西，都是利用一些開源緩
2018-09-03 09:48:40
2
原创 Rstudio-server編寫python程序測試
背景描述： 最近在頭條上看到，有很多pyhton使用者，喜歡靜將rstudio作爲編輯器。出於好奇，嘗試了一下。不得不說，這對組合還是蠻合適的。因爲對於大神級的代碼編寫者，他們偏向於使用vim直接在服務器上編寫python代碼，隨時調試，
2018-09-03 09:48:40
原创 windows環境下python安裝open cv 讀取tiff文件
windows環境下python安裝open cv 讀取tiff文件 背景 天池數據大賽《廣東政務數據創新大賽—應用創新賽》,首先需要解決第一關，就是查看比賽給出的兩個tiff格式的數據文件。本身沒有地理信息專業的背景，所以壓根就沒打算
2018-09-03 09:48:40
原创 spring-boot restful接口學習（1）
1、前言 因爲工作需要，開始寫後臺服務的接口，使用的框架是spring-boot。關於微服務的好處、架構，產生的淵源，度娘上一堆文章，官網上也有很多描述，這裏不再贅述。這裏只是準備梳理一下用spring-boot做微服務接口的相關知識。從
2018-09-03 09:48:40
原创 spring-boot jpa 配置兩個數據源
spring-boot jpa 配置兩個數據源 內容簡介 1、配置兩個mysql數據庫 2、配置一個mysql,一個h2內存數據庫 如何配置兩個mysql數據庫 1、配置文件 首先，連接數據的配置文件需要改變，即增加第二個數據庫
2018-09-03 09:48:40
原创 搭建hadoop2.6.0 HA及YARN HA
以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始終沒有完成YARN HA的搭建，直接下載了hadoop最新穩定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，沒有仔細看hadoo
2018-09-03 09:48:39
原创 intellij idea搭建python環境，運行tensorFlow樣例程序
本文主要記錄使用tensorFlow入門操作筆記，包括：intellij idea配置python運行環境，運行第一個樣例程序，爲後邊學習tf打下基礎 intellij idea配置python環境 首先要保證你的電腦上裝有py
2018-09-03 09:48:39
原创 spark streaming接kafka數據方式彙總
1、利用kafka高階api （1）常用的方法 def main(args: Array[String]) { if (args.length < 4) { System.err.println("Usage: Ka
2018-09-03 09:48:39
原创 intellid idea安裝plantUML插件以及錯誤解決
1、下載plantUML插件 plantuml4idea.zip http://pan.baidu.com/s/1hrNaRoo 2、intellid idea離線安裝plantUML插件 file =》 settings =》
2018-09-03 09:48:39
4