原创 scala 學習筆記（三）
scala進一步學習 1.帶類型的參數化數組 scala可以使用new實例化對象或者實例。當你在scala裏實例化對象，可以使用值和類型把他參數化。參數化意思就是創建實例時候“設置”它。通過把加在括號裏的對象傳遞給實例的構造器的方式來使用
2020-06-13 20:00:38
原创 scp:Mac使用方法（文件上傳與下載服務器）
一、什麼是scp scp是linux系統下基於ssh登陸進行安全的遠程文件拷貝命令。scp命令可以在linux服務器之間複製文件和目錄.scp使用ssh安全協議傳輸數據，具有和ssh一樣的驗證機制，從而安全的遠程拷貝文件。
2020-06-13 20:00:38
2
原创 scala 學習筆記（二）
1.啓動Scala 輸入 scala> 1+ 2 rest0:Int = 3 這行代碼會打印： rest0:Int = 3退出scala :quit 2.這行代碼包括： 1）一個自動產生的或用戶自定義的名稱來說明計算的值(rest0,結果
2020-06-13 20:00:38
原创 Scala學習筆記(四)
類和對象 你熟悉 Java,你會發現 Scala 裏的概念相似,但不完全相同。所以即使你是一位 Java 大師,讀一下本章也是有益的。 1.類字段和方法 類是對象的藍圖，有了類，你可以使用關鍵字new從類的藍圖裏創建
2020-06-13 20:00:38
1
原创 IDEAL Ultimate 版 激活碼 說明本文使用是Version: 2016.2.3
43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFp
2020-06-13 20:00:38
原创 Scala 學習筆記（一）
Scala語言的名稱來自於“可伸展的語言”。之所以這樣命名,是因爲他被設計成隨着使用者的需求而成長。你可以把Scala應用在很大範圍的編程任務上,從寫個小腳本到建立個大系統。 Scala是很容易進入的語言。它跑在標準的 Java平臺
2020-02-22 04:00:01
原创 Scala學習筆記(六)
函數式對象 本章的重點在於定義函數式對象,也就是說,沒有任何可變狀態的對象的類。作爲運行的例子,我們將創造若干把分數作爲不可變對象建模的類的變體。在這過程中,我們會展示給你 Scala 面向對象編程的更多方面:類參數和構造函數,
2020-02-22 04:00:01
原创 Scala學習筆記(五)
基本類型和操作 1.基本類型 數值型 範圍 Short 16 位有符號補碼整數(-215~215-1 Int 32 位有符號補碼整數(-231~231-1)
2020-02-22 04:00:01
原创 Hadoop上編寫mr計算
導言：使用java編寫map reduce程序，Map Reduce是包含兩個過程：Map過程和Reduce過程。每一個過程都包含鍵值對作爲輸入，程序員可以選擇鍵和值的類型。Map和Reduce的數據流是這樣的： Input==>Map=
2018-09-04 01:46:18
原创 線下模型的數據清洗建模
一、清洗流程： 目的：爲離線訓練準備標註數據，清洗不合法的數據。 數據源我們採用：曝光、點擊、下單 1.序列化 曝光、點擊、下單從Hive表中讀取，採用schema可以直接根據日誌名字來讀取字段在家或減少的影響； 曝光日誌
2018-09-04 01:46:05
原创 MapReduce 詳解一
導言：很多時候數據太大需要併發時候我們要寫map reduce 來實現，但mr計算的傳入key和value有點疑惑；這裏有點讓人疑惑爲什麼要這麼寫；這是因爲與傳統的函數不同，一個函數有明確的數據源明確的輸入輸出。但在mr中除了key、va
2018-09-04 01:46:04
2
原创 Linux命令
系統信息 arch 顯示機器的處理器架構(1) uname -m 顯示機器的處理器架構(2) uname -r 顯示正在使用的內核版本 dmidecode -q 顯示硬件系統部件 - (SMBIOS / DMI) hdparm
2018-09-04 01:46:04
原创 IDEAL Ultimate 的SVN導入
一拉取svn項目 方法一：使用ideal自帶的Terminal使用svn co svn://x.x.171.10/svnproject 拉取svn目錄 方法二：使用ideal自帶的插件SubVersion添加svn路徑地址 svn:
2018-09-04 01:46:04
原创 hive的數據存儲淺談
一、導言： Hive是基於Hadoop分佈式文件系統，它的數據存儲在Hadoop分佈式文件系統中。Hive本身是沒有專門的數據存儲格式，也沒有爲數據建立索引，只需要在創建標的時候告訴Hive數據中的列分隔和行分隔符，Hive就可
2018-09-04 01:46:04
原创 使用maven assembly 對java進行打包
導言：我們一般java工程都是通過Maven來管理構建的，要使用的時候就使用了jar形式，而我們知道其中有很多的依賴，而Maven本身的打包成jar是不包含這些依賴的，我們可以在pom.xml中配置maven-assembly-plugi
2018-09-04 01:46:03