原创 Pyspark實戰（五）pyspark+happybase操作hbase
Hbase環境參考上一章節 安裝happybase Pip install happybase 創建test.py，代碼如下： from pyspark.sql import SparkSession import happybase
2019-07-02 20:52:56
35
原创 Pyspark實戰（四）pyspark操作hbase
環境配置： Spark啓動環境中添加hbase的jar包以及spark-examples的jar包。 1、下載spark-examples jar包，地址https://mvnrepository.com/artifact/org.apa
2019-07-02 20:52:56
4
原创 Pyspark實戰（一）環境部署
這裏假設Python環境已經部署完成，相關版本如下： spark2.2.0，部署過程參考https://blog.csdn.net/luoye4321/article/details/90552674。 python3.7，部署過程參考h
2019-06-28 10:43:42
原创 Pyspark實戰（三）wordcount算子分析
Pyspark的本質還是調用scala的jar包，我們以上篇文章wordcount爲例，其中一段代碼爲： rdd.flatMap(lambda x:x.split( )).map(lambda x:(x,1)).reduceByKey(l
2019-06-28 10:43:42
4
原创 Pyspark實戰（二）wordcount詞頻統計
E盤根目錄創建test.txt輸入測試內容如下： this is a test this very good you is very good what are you 完整代碼如下： from pyspark import S
2019-06-28 10:43:42
原创 四、geotrellis發佈TMS服務
本章節將上一章節創建的瓦片發佈爲TMS服務 本章節將使用akka建立http服務並訪問影像瓦片。 使用maven構建測試案例，maven參見上一章節 具體代碼如下： import geotrellis.raster._ import g
2019-06-20 11:34:12
7
原创 三、geotrellis實現影像切片功能
本章使用scala實現影像的切片功能。步驟如下： 一、環境及軟件版本： 1、Scala2.11.7 2、Java1.8 3、spark2.2.0 二、使用maven構建測試案例 1、maven依賴庫如下： <dependencies>
2019-06-20 11:34:12
4
原创 （二）基於Python的Geotrellis實現-柵格切片的簡單案例
直接使用geopyspark提供的測試代碼，我這裏稍微進行了改造，步驟如下： 1、pycharm創建python項目geotrellis-python-temple。 2、創建py文件：geotrellis-hello.py 3、代碼如下
2019-06-11 00:05:57
1
原创 hbase出現org.apache.hadoop.hbase.PleaseHoldException: Master is initializing錯誤解決
使用hbase創建namespace和table時提示該錯誤，完整的錯誤日誌如下： 按照網上的解決思路： 1、設置主機之間的NTP時間同步。 2、修改hbase-site.xml配置文件 <property> <name
2019-05-29 19:55:36
原创 windows下hadoop的部署和使用
本教程在windows10環境下安裝配置hadoop+hbase+spark。 一、下載壓縮包： 1、JavaJDK，1.8以上。 2、Hadoop2.8.3，下載地址：http://archive.apache.org/dist/had
2019-05-29 19:55:36
原创 windows下hbase部署和使用
這裏假定hadoop已經部署完成（詳細步驟可參考上一篇文章），繼續進行hbase的安裝，過程如下： 1、下載Hbase2.0.5，下載地址：http://archive.apache.org/dist/hbase/，這裏注意hbase和h
2019-05-29 19:55:36
原创 阿里雲ECS服務器Centos7.6環境下部署CDH6.1.大數據集羣
阿里雲購買同一地區下的三臺服務器，操作系統爲Centos7.6，內網地址分別是172.17.58.37 ，172.17.58.38， 172.17.58.39，對應的節點分別爲node1,node2,node3,node1爲主機。部署CD
2019-05-11 14:07:41
3
原创 go語言下redis部署和操作
Redis是基於C語言編寫的開源數據庫，支持Key-Value的持久化存儲。 Redis支持多種數據類型，value值可以是字符串、鏈表、集合和哈希類型。 Redis支持push/pop、add/remove及去交集並集差集等的複雜操作。
2018-11-28 13:14:13
原创 Go語言代碼實現數字簽名過程
一、數字簽名流程圖 二、實現場景描述 直接使用百度百科中關於數字簽名的應用例子，如下： 假如現在 Alice 向 Bob 傳送數字信息，爲了保證信息傳送的保密性、真實性、完整性和不可否認性，需要對傳送的信息進行數字加密和簽名，其傳送過程
2018-11-26 08:02:07
原创 算法中的常用數學公式
1、指數 指數是冪運算aⁿ(a≠0)中的一個參數，a爲底數，n爲指數，指數位於底數的右上角，冪運算表示指數個底數相乘。當n是一個正整數，aⁿ表示n個a連乘。當n=0時，aⁿ=1。 常見的指數運算如下： 2、對數
2018-11-20 08:28:02