原创 SpringBoot配置雙kafka
SpringBoot配置雙kafka 最近因爲工作上的需求，要將我們系統上的kafka數據，發到第三方kafka上，所以需要配置兩個kafka，配置過程中，也在網上參考 了一些博客，參考博客如下 參考博客：https://blog.csd
2020-06-22 17:34:41
2
原创 MapReduce模型與Yarn
MapReduce模型 MapReduce編程遵循一個特定的流程，首先編寫map函數和reduce函數，最好使用單元測試來確保函數的運行符合預期，然後編寫一個驅動程序來運行作業，看這個作業是否可以正確運行。當然你也可以使用本地IDE來調試
2020-05-31 10:02:04
原创 Bregman 散度（Bregman divergence）和Bregman信息（Bregman information）
Bregman 散度和Bregman information Bregman散度 給定一個嚴格凸函數 Φ\PhiΦ ,由該函數生成的Bregman散度（損失函數）DΦ(X,Y)D_\Phi(X,Y)DΦ(X,Y)通過下面的公式給
2020-05-31 10:02:04
原创 RDD彈性分佈式數據集
一、什麼是RDD 什麼是RDD？RDD是隻讀的，分區記錄的集合。RDD只能基於穩定物理存儲中的數據集合其他已有的RDD上執行確定性操作來創建。這些確定性操作被稱爲轉換（transformation），例如map、filter、group
2019-06-27 13:31:54
1
原创 SpringBoot教程
一、SpringBoot簡介 1.1 原有Spring優缺點分析 1.1.1 Spring的優點分析 1.1.2 Spring的缺點分析 1.2 SpringBoot的概述 1.2.1 SpringBoot解決上述Spring的缺點
2019-06-26 14:01:53
2
原创 jupyter導出pdf
step 1：下載：https://miktex.org/download step 2：如果使用的是anaconda的jupyter，則需要將 F:\Anaconda3\Scripts 配置到path中 step 3：配置環境變量：（我
2019-06-21 13:37:13
原创 eclipse中使用maven
這篇文章只是簡單介紹maven，並用eclipse整合maven的流程，不太完善，後續有時間再補充 什麼是maven？ maven譯作專家、內行。是Apache的一個純java開發的開源項目， 使用maven幹什麼？ mave
2019-06-21 13:37:13
原创 DCGAN練習
調用tf.softmax_cross_entropy_with_logits函數出錯解決 # loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(output, Y
2019-06-21 13:37:13
原创 hadoop-hdfs集羣詳細安裝步驟
安裝hdfs集羣的具體步驟： 一、首先需要準備N臺linux服務器 學習階段，用虛擬機即可！ 先準備3臺虛擬機：1個namenode節點 + 2 個datanode 節點 二、修改各臺機器的主機名和ip地址 主機名：node1
2019-06-10 13:39:25
原创 Scala詳細教程
Scala詳細教程 目錄 Scala詳細教程 1.Scala 介紹 1.1 什麼是 Scala Scala 1.2 爲什麼要學 Scala 2.開發環境準備 2.1 ScalaSDK 安裝 2.1.1Window 下安裝 ScalaSD
2019-06-10 13:39:25
原创 spark集羣安裝
機器部署 準備兩臺以上的Linux服務器，我這裏準備了5臺服務器，集羣思路大致如下：其中Zookeper是可選項， 下載spark安裝包 配置spark 進入到Spark安裝目錄 cd /home/ws/bigdata/spark-2
2019-06-10 13:39:25
原创 hadoop與java客戶端編程
開發前準備工作 在windows開發環境中做一些準備工作，因爲Hadoop是適用於Linux操作系統上的，所以下載的開發包也是按照Linux系統編譯的，因此，要在window下開發，需要下載源碼包，使用windows進行編譯。否則在使用某
2019-06-10 13:39:25
1
原创 hdfs客戶端操作
客戶端的理解 hdfs的客戶端有多種形式： 網頁形式 命令行形式 客戶端在哪裏運行，沒有約束，只要運行客戶端的機器能夠跟hdfs集羣聯網 文件的切塊大小和存儲的副本數量，都是由客戶端決定！ 所謂的由客戶端決定，是通過配置參數來定的 h
2019-06-10 13:39:25
原创 zookeeper
zookeeper快速上手 zookeeper的基本功能和應用場景 zookeeper的整體運行機制 zookeeper的數據存儲機制 數據存儲形式 zookeeper中存儲數據的基本形式爲： key ， value 只是zk
2019-06-10 13:39:25
原创 SSH使用主機名免密登錄以及異常解釋
前提：已經完成主機名和IP地址映射，未完成的請在/etc/hosts下修改，並且三臺主機上均有用戶ws 情景假設：現在我有三臺主機，主機名分別是node1、node2、node3，現在我需要設置node1到node2和node3之
2019-06-10 13:39:24