原创 Linux筆記(十一) 系統命令

1 df 查看系統的存儲容量 df -m -g  -k  df -h   以易讀大單位顯示 [root@localhost apps]# df  -h Filesystem               Size  Used Avail

原创 Linux筆記(七) 壓縮命令詳解

壓縮解壓  壓縮格式zip 打包+壓縮解壓   1 壓縮和解壓命令  1.1 gzip ()壓縮)   文件1  文件2 gzip  文件 直接壓縮文件  後綴名  .gz(壓縮格式) [root@bogon doit16]# gz

原创 linux筆記(三)Linux基本命令01

1 cd 切換目錄 2 ls 查看目錄下的內容 3 mkdir 創建文件夾 4 touch 創建文件 5 cp 複製 文件和文件夾 6 mv 剪切移動 文件夾和文件 7 rm 刪除 1 cd 切換目錄 帶/ 絕對路徑    ./ 

原创 Linux筆記(十二) Linux集羣搭建

1 快照 拍攝快照可以保證機器的安全性 , 當系統出現不可修復的問題,或者出現比較麻煩的修復問題可以恢復到原來的狀態 注意拍攝快照的描述信息和命名規範 快照管理  快照恢復 2 克隆  機器關機 克隆機器 選擇目錄   修改ip地址

原创 Linux筆記(十三) shell簡介和腳本執行方式

1 shell簡介 Shell是命令解釋器(command interpreter),是Unix操作系統的用戶接口,程序從用戶接口得到輸入信息,shell將用戶程序及其輸入翻譯成操作系統內核(kernel)能夠識別的指令,並且操作系統內核

原创 linux筆記(二)基本目錄結構

1 登錄   用戶名 root  密碼  ****   2 目錄結構 在Linux服務器中 , 不建議使用圖形化界面,所以沒有鼠標,沒有圖標, 所有的操作都是鍵盤 ,創建文件夾使用命令 ,刪除文件夾或者文件夾使用命令 , 切換目錄使用命

原创 Linux筆記(九) 網絡命令

1 Linux機器IP地址的配置 2 ping ip地址的問題解決  1) Linux的ip 網段  網關  2) 虛擬交換機 3)  windows中的網絡配置   4) 防火牆 1 網絡服務 ip addr  查看ip地址 1:

原创 scala詳細筆記(十)-scala高級語法之柯力化和閉包

1 柯力化 1.1 簡介 語法 : 函數有多個參數列表 柯里化(Currying)指的是把原來接受多個參數的函數變換成接受一個參數的函數過程,並且返回接受餘下的參數且返回結果爲一個新函數的技術。所以柯力化的現象是 :    函數名()()

原创 scala詳細筆記(十一)-scala高級語法之隱式詳解

d通過隱式轉換,程序員可以在編寫Scala程序時故意漏掉一些信息,讓編譯器去嘗試在編譯期間自動推導出這些信息來,這種特性可以極大的減少代碼量,忽略那些冗長,過於細節的代碼。 使得靜態類型動態化 爲現有類庫添加功能 隱式的代理增強一個類或者

原创 scala詳細筆記(十三)scala之泛型詳解

泛型用於指定方法或類可以接受任意類型參數,參數在實際使用時才被確定,泛型可以有效 地增強程序的適用性,使用泛型可以使得類或方法具有更強的通用性。泛型的典型應用場景 是集合及集合中的方法參數,可以說同 Java 一樣,Scala 中泛型無處

原创 hive詳細筆記(三) hive-DDL 表操作基礎篇 (附帶視頻講解)

1 數據類型 1.1 基本數據類型 Hive數據類型 Java數據類型 長 例子 TINYINT byte 1byte有符號整數 20 SMALINT short 2byte有符號整數 20

原创 hive詳細筆記(四)-Hive內部表,外部表,分區表,分桶表詳解(附帶講解視頻)

本節目錄 內部表和外部表 靜態分區表 動態分區表  分桶表 抽樣查詢 1 內部表和外部表 未被external修飾的是內部表(managed table),被external修飾的爲外部表(external tab

原创 Niubility (分享二) bilibili 實時平臺的架構與實踐

一、實時計算的痛點 二、Saber 的平臺演進 三、結合 AI 的案例實踐 四、未來的發展與思考 一、實時計算的痛點   1.痛點   各個業務部門進行業務研發時都有實時計算的需求。早期,在沒有平臺體系做支撐時開發工作難度較大,由於不同

原创 scala詳細筆記(一) scala基礎環境搭建

1  Scala概述 1.1. 什麼是Scala Scala是一種多範式的編程語言,其設計的初衷是要集成面向對象編程和函數式編程的各種特性。Scala運行於Java平臺(Java虛擬機),併兼容現有的Java程序。   面向函數和麪向對

原创 hive詳細筆記(七)-Hive之case when語法詳解(附帶講解視頻 )

1 基本語法 語法一   CASE 字段  WHEN 值1 THEN 值1 [WHEN 值2 THEN 值2]* [ELSE 值] END 語法二 CASE WHEN 條件表達式 THEN 值1 [WHEN 條件表達