原创 Spark PIVOT & UNPIVOT, 行轉列和列轉行
測試數據 name course score Darren Chinese 71 Darren Math 81 Darren English 91 Jonathan Chinese 72 Jonathan Math 82 Jonathan
2020-07-03 07:36:16
1
原创 Anaconda 安裝R環境，安裝Package和配置鏡像，R語言Helloworld程序
安裝R 在安裝之前，先檢查一下本地的環境有哪些： 接着創建一個R環境： 然後切換到新建的r環境： conda activate r 接着安裝r： conda install r 過程大概如下： 過程中遇到一些問題： 有些安裝包
2020-07-03 07:36:16
1
原创 Anaconda 安裝R環境
在安裝之前，先檢查一下本地的環境有哪些： 接着創建一個R環境： 然後切換到新建的r環境： conda activate r 接着安裝r： conda install r 過程大概如下： 過程中遇到一些問題： 有些安裝包由於網絡
2020-02-25 06:23:34
2
原创 Cloudera Hadoop 集羣安裝(三臺機器)
簡述：Hadoop的安裝對環境有比較高的要求，需要比較大的內存，一般的機器很難滿足，一個人也很難有兩三臺獨立的主機，所以只能選擇使用安裝虛擬機的方式安裝，但是主機的內存需要在8G以上。如果小於8G可以擴展內存後再做嘗試。
2020-02-23 05:49:50
原创 Thread類中的join()方法原理
join()是Thread類的一個方法。根據jdk文檔的定義： public final void join()throws InterruptedException: Waits for this thread to die. jo
2020-02-23 05:49:50
原创 Javascript This.作用域.閉包
JavaScript是個有點神奇的語言，不過它的一些獨有的特性往往讓我們初學者感到費解。This是Javascript語言的一個關鍵詞。不過它到底是指什麼呢？很多人都會認爲this指的是當前對象。當然，這樣理解是沒錯的，但是在有些情況下仍
2020-02-23 05:49:50
原创 MAPE(Mean Absolute Percentage Error)和WMAPE有何不同，爲什麼用WMAPE來評估銷量預測
MAPE(Mean Absolute Percentage Error)平均絕對誤差百分比：是用來做銷量預測最常用的指標，在實際的線上線下銷量預測中有着非常重要的評估意義。但是在實際的項目過程中發現，有些時候的指標並不能非常好的表示模型擬
2020-02-23 05:49:50
1
原创 python with as的用法
With語句是什麼？ 有一些任務，可能事先需要設置，事後做清理工作。對於這種場景，Python的with語句提供了一種非常方便的處理方式。一個很好的例子是文件處理，你需要獲取一個文件句柄，從文件中讀取數據，然後關閉文件句柄。 如果不用wi
2020-02-23 05:49:50
原创 Spark 如何並行執行多個job
對於Spark這樣的分佈式計算系統，任務會分發到多臺機器上執行。如何榨乾有限的集羣資源來實現快速並行計算，是需要考慮的重要問題之一。而這個問題又可以拆解爲：如何將有限的集羣資源都分配給Spark使用；如何將分配到的資源都利用起來。本文的話
2020-02-23 05:49:50
原创 Scoverage 插件在jenkins下不能顯示問題
plugin: 'org.scoverage' https://github.com/scoverage/gradle-scoverage/tree/2.5.0 問題描述： 使用scoverage生成的覆蓋了報告可以在本地用瀏覽器打開，
2019-07-09 03:28:01
2
原创 gradle compileScala 出現 java.lang.StackOverflowError (no error message)
問題： * What went wrong: Execution failed for task ':data-model:compileScala'. > java.lang.StackOverflowError (no error
2019-07-09 03:28:01
41
原创 git 倉庫遷移
一、完全遷移（包括分支，標籤和日誌） git clone --mirror <URL to my OLD repo location> cd <New directory where your OLD repo was cloned>
2019-06-30 03:04:02
原创 如何獲取Maven工程的project.version信息
我敢打賭，您曾經遇到過在命令行上獲得Maven項目版本的情況。所以問題是如何得到它?我已經看到了很多解決方案，通過使用Linux工具，如grep, cat或awk等，也看到了很多解決方案， 如使用這樣的exec-maven-plugin:
2019-06-27 04:14:19
11
原创 maven lifecycle, phase and goal
當我們在使用Maven做一些工作，如打包，編譯，運行測試等等任務時，我們已經使用到了Maven中的幾個重要概念： lifecycle phase goal 例如，如果我們使用ant打包，我們需要清晰的在腳本中告訴ant 源代碼在哪，打
2019-06-22 03:15:51
9
原创 Scala 拉鍊操作（zip，zipWithIndex）
package com.darren.zip /** * @Author Darren Zhang * @Date 2019-06-03 * @Description TODO **/ object Zip {
2019-06-11 08:28:08