原创 分佈式一致性算法-Paxos理解
直接舉例： 以我們常用的火車票訂購系統爲例，每當過年的時候，全國有多少人搶票這裏不做統計，但是一個購票系統服務器是絕對無法滿足需求的，大量的訪問和請求會直接導致服務器宕機。 所以爲了滿足這種需求，鐵路局決定採用分佈式集羣的方式解決大量用戶
2020-05-31 11:44:42
原创 區塊鏈共識算法的理解
關於CAP理論： C（Consistency）一致性：分佈式系統的所有（節點）數據備份，同一時刻是否保持同樣的值。 A（Availability）可用性：分佈式系統的一部分節點故障後，其他節點是否還能正確響應客戶端的請求。 P（Parti
2020-05-31 11:44:32
原创 （一）基於Python的Geotrellis實現-環境部署
關於Geotrellis Geotrellis是一款基於分佈式存儲和計算的柵格數據處理框架。 使用環境說明 1、Python Geotrellis是基於Scala語言編程實現的，同時Geotrellis也提供了其他編程語言如Python、
2020-05-31 11:44:32
原创 scala函數參數
1、高級函數 把一個函數作爲參數傳遞給另一個函數的方式，在函數式編程中稱爲高級函數。 //絕對值函數 def abs(n:Int)={ if(n<0) -n else n } //階乘函數 def factorial(n:Int)
2019-09-15 20:39:20
原创 六、geotrellis按時間序列存儲至hbase
實現代碼如下： import org.apache.camel.scala.dsl.builder.RouteBuilderSupport import geotrellis.raster._ import geotrellis.pro
2019-09-07 08:37:29
8
原创 scala實現hbase批量寫入
一、編程環境： 1、JDK1.8 2、scala2.11.7 3、hadoop3.0.0、hbase2.1.0、spark2.4.0 操作系統:centos7.6，編譯器使用idea2019 二、實現步驟： 1、添加hbase的jar包
2019-08-23 09:49:14
1
原创 scala通過BulkLoad實現hbase的批量入庫
部署環境參考其他章節。 完整代碼如下： import java.util.UUID import org.apache.hadoop.fs.Path import org.apache.hadoop.hbase.{HBaseConfi
2019-08-23 09:49:14
1
原创 五、geotrellis實現柵格切片並存儲至hbase
部署環境可以參考本欄目的其他章節。 1、maven代碼如下： <dependencies> <dependency> <groupId>org.apache.camel</groupId> <artif
2019-08-23 09:49:14
原创 sparkstreaming實現hdfs目錄的監控，並實時寫入hbase
部署環境參考https://blog.csdn.net/luoye4321/article/details/99745877 代碼如下： import org.apache.hadoop.hbase.HBaseConfiguration
2019-08-23 09:49:14
原创 Scala數據類型與變量
一、scala數據類型 Byte:8位有符號整數 Short:16位有符號整數 Int:32位有符號整數 Long:64位有符號整數 Float:32位單精度浮點數 Double:64位雙精度浮點數 Char:16位無符號Unicode字
2019-07-30 21:35:26
原创 Linux集羣部署文件及目錄共享
一、服務器端配置 1、nfs-utils安裝 首先檢查是否安裝： #rpm -aq nfs-utils rpcbind 說明已經默認安裝，如果沒有，可以使用如下命令安裝： #yum -y install rpcbind nf
2019-07-30 09:21:18
原创 pyspark實戰（六）pyspark+happybase批量寫入hbase操作
pyspark和happyhase操作hbase需要提前部署和安裝pyspark和happyhbase的python包，具體的安裝過程可看靠前面章節，這裏不再贅述。 1、引入相關包 from pyspark import SparkCo
2019-07-30 09:21:17
6
原创 centos下部署gdal的python包
1、安裝proj4 使用python調用gdal包時，如果沒有安裝proj4，有可能會提示缺少包的錯誤，所以這裏預先安裝。 1）下載並解壓 #wget http://download.osgeo.org/proj/proj-6.1.0.
2019-07-11 11:39:16
原创 centos下basemap的python包安裝
1、下載basemap Git地址：https://github.com/matplotlib/basemap 根據git的說明，安裝步驟如下： 下載zip包，如下： tar.gz包安裝後，使用from mpl_toolkits.bas
2019-07-11 11:39:16
45
原创 centos系統python3.7安裝及虛擬環境部署
1、配置yum國內鏡像 1）備份源： #mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2）下載源： #wget http:/
2019-07-10 11:07:20