原创 Spark 閉包與序列化（json4s.jackson）(轉)
Spark的官方文檔再三強調那些將要作用到RDD上的操作，不管它們是一個函數還是一段代碼片段，它們都是“閉包”，Spark會把這個閉包分發到各個worker節點上去執行，這裏涉及到了一個容易被忽視的問題：閉包的“序列化”。 顯然，
2019-07-30 05:13:07
2
原创 win10 hyper-v配置虛擬機網絡
第一步、打開Hyper-V管理器，在界面找到右側的操作欄目，找到"虛擬交換機管理器"並打開： 首先打開虛擬機交換機管理器 第二步、在左側菜單欄中點擊"新建虛擬網絡交換機"，並且在右側的類型選項中選擇"外部"，然後點擊創建虛擬交換
2019-07-06 07:04:17
原创 CentOS7虛擬機聯網
https://www.jianshu.com/p/1865cd86f4b3 1.方法一 使用NAT網絡 1.1 選擇網卡 安裝centos7的時候注意選擇兩個網卡（配置CentOS7虛擬機裏面能上外網，而主機與CentOS7虛擬
2019-07-05 05:59:30
原创 maven 打包本地jar包
`` <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>
2019-07-03 06:32:40
原创 談談數學學習的術和道（二）
微博：賊叉 這個文章受不受歡迎有時候真的是莫名其妙。。。常常花心思寫了半天的應者寥寥，塗鴉之所反而喜聞樂見，真是哭笑不得。 昨天之所以寫這個話題，其實純粹是吐槽。之前看了某個所謂的什麼狗屁倒竈的中高考解題大神的快速解法，覺得純粹就
2019-07-03 06:32:40
原创 geoserver跨域問題
GeoServer2.15.0 解決CORS跨域問題 思維導圖： 解決思路 第一步：解開web.xml關於CORS的標籤 操作如下： 1.找到安裝目錄底下的…\GeoServer 2.15.0\webapps\geoserver
2019-06-20 07:44:11
原创 geoservr2.15.1添加圖層組來解決組合一個圖層對外發布
需求 現有不定期的提供的不定範圍的多個tiff數據源，需要將其發佈爲單一圖層，供前臺調用 解決方案2 ，各個圖層可以單獨發佈，保持座標系統一 新建圖層組，填寫圖層組名稱 添加各個已經新發布的圖層 再點擊保存，即可在預
2019-06-19 06:36:25
1
原创 geoserver2.15.1發佈多個tiff文件爲ImageMosaic圖層
需求 現有不定期的提供的不定範圍的多個tiff數據源，需要將其發佈爲單一圖層，供前臺調用 本篇文章是解決方案之一 部署geoserver2.15.1 可下載獨立平臺版本也可以下載tomcat單獨部署 添加數據存儲，選擇Image
2019-06-19 06:36:25
2
原创 geoserver2.15.1發佈已經切割後的瓦片爲ImagePyramid的wms圖層
需求：多個tiff數據源發佈爲單一圖層 解決方案三：先用gdal_retile.py切割生成瓦片，然後發佈ImagePyramid的圖層 安裝python3.6，已經自動繼承了pip安裝工具 安裝gdal工具 https:
2019-06-19 06:36:25
4
原创 數據地圖工具
俗話說的好：工欲善其事，必先利其器！一款好的工具可以讓你事半功倍，尤其是在大數據時代，更需要強有力的工具通過使數據有意義的方式實現數據可視化，還有數據的可交互性；我們還需要跨學科的團隊，而不是單個數據科學家、設計師或數據分析員；我
2019-06-11 14:44:42
1
原创 hbase獲取某個列族的所有列
Get get = new Get(Bytes.toBytes("rowA")); Table table = conn.getTable(TableName.valueOf("merchants"));
2019-06-11 14:44:42
原创 alibaba JSONObject JSONAarray與javaobject的轉換
alibaba List<TrackSignObject> users=new ArrayList<TrackSignObject>(); TrackSignObject t=new TrackSignObj
2019-06-11 14:44:41
原创 代碼加載協處理器統計hbase錶行數
package endPointBatchDel; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.
2019-05-09 22:36:37
原创 scala使用break和continue的方法
import util.control.Breaks._ 1)break得例子 breakable( for(i<-0 until 10) { println(i) if(i==5){
2019-05-09 22:36:37
原创 spark寫入hbase時報錯java.lang.IllegalArgumentException: Can not create a Path from a null string
在使用setAsNewAPIHadoopDataset寫數據到Hbase時發生如下錯誤： java.lang.IllegalArgumentException: Can not create a Path from a null st
2019-04-29 17:32:37
14