原创 python第三天
一、引用 想一想 a = 1 b = a b 1 a = 2 a 2 請問此時b的值爲多少？ a = [1, 2] b = a b [1, 2] a.append(3) a [1, 2, 3] 請問此時b的值又是多少？ 引用: 在
2019-04-03 03:12:37
9
原创 python第一天：python的簡介
python 是解釋性語言還是編譯性語言？？ 先說結論，python 是解釋性語言。 何爲編譯？ 1、生成目標文件。 2、且目標文件是針對特定的 CPU 體系的，爲ARM生成的目標文件，不能被用於MIPS的CPU，也不能用於x86的C
2019-03-15 02:46:47
原创 echo -n 和echo -e 參數意義
echo -n 和echo -e 參數意義 echo -n 不換行輸出 $echo -n “123” $echo “456” 1 2 最終輸出 123456 而不是 123 456 1 2 3 4 5 6 echo -e 處理特殊字符
2019-03-15 02:46:47
原创 hadoop fs,hadoop dfs以及hdfs dfs區別
hadoop fs,hadoop dfs以及hdfs dfs區別 該文由本人於網上查閱資料所得，如有錯誤希望幫忙評論指正謝謝。 hadoop fs: FS relates to a generic file system which
2019-03-15 02:46:47
1
原创 舉例說明三範式（簡單易懂說人話版）
數據庫設計一般滿足第三範式就夠了 第一範式（無重複的列） 定義：數據庫表的每一列都是不可分割的原子數據項，而不能是集合，數組，記錄等非原子數據項。如果實體中的某個屬性有多個值時，必須拆分爲不同的屬性 通俗解釋：一個字段只存儲一項信息
2018-12-19 07:07:10
原创 RHEL 和centos 的區別
結論：centos基於redhat紅帽RHEL（Red Hat Enterprise Linux）的開源源碼 完成的，爲什麼redhat願意這個寄生蟲和自己搶市場呢？答：GPL 協議保證linux一定是開源的，這樣完全合法 1，無償和
2018-12-07 19:14:49
原创 自己總結sql用法
** - 2018/12/05 with as 用法 ** 一、hivesql中（注意：mysql不支持），with as語句的作用是相當於創建了一箇中間表，加載到內存中，這樣在後續的使用中極大的提高速度（不用建表，insert數據到
2018-12-07 19:14:49
原创 一個例子搞懂寬表和窄表的區別
寬表：從字面意義上講就是字段比較多的數據庫表。通常是指業務主題相關的指標、維度、屬性關聯在一起的一張數據庫表。由於把不同的內容都放在同一張表存儲，寬表已經不符合三範式的模型設計規範，隨之帶來的主要壞處就是數據的大量冗餘，與之相對應的好
2018-11-13 23:09:04
4
原创 什麼是Kerberos？
關於Kerberos 什麼是Kerberos？ 一句話，Kerberos是一種認證機制。 它的目的：通過密鑰系統爲客戶端/服務器應用程序提供強大的認證服務：保護服務器防止錯誤的用戶使用，同時保護它的用戶使用正確的服務器，即支持雙向驗證
2018-11-04 04:38:32
原创 複習計算機基礎（cpu是重點）
回顧一下計算機基礎知識（按重點）： 一、CPU：包括控制單元、算術邏輯單元和記憶單元等 1.1 CPU包含：ALU（算術邏輯單元）、Cache（高速緩衝處理器）、Bus（總線） CPU（中央處理器）是整臺機器的核心，是一個具有特定功
2018-11-04 04:38:32
原创 hive內部表和外部表的區別
我們在使用數據倉庫時，一般會公司會使用hive作爲首選數據倉庫而不是性能更高Teradata（數據倉庫配備性能最高、最可靠的大規模並行處理 (MPP) 平臺，能夠高速處理海量數據，其性能遠遠高於Hive）呢，這就是hive的最大的優點
2018-09-17 08:48:01
原创 梳理spark中shuffle操作HashShuffleManager和SortShuffleManager的原理
spark中的shuffleManager是負責shuffle過程的執行,計算和處理的組件.shuffleManager是trait,主要實現類有兩 個:一個是HashShuffleManager,另外一個是SortShuffleManager. 一、H
2018-09-13 07:16:47
1
原创 hadoop生態圈中hive模塊100問
一、嘛是數據倉庫和數據庫的區別？ hive的是一個數據倉庫，數據倉庫是面向主題的，偏向於做OLAP（online-Analytical-Processing），只要工作是方便給決策人員提供報表，來做決策分析。而傳統關係型數據庫比如My
2018-09-13 07:16:47
原创 RDD、DataFrame、DataSet的關係是抽象關係
一、序言 可以說，RDD的使用是Spark最重要的抽象概念！ 初學者可能不太理解這三者之間的關係，其實他們就是不斷地抽象、封裝，目的只有一個，Apache讓Spark讓你使用起來更簡單！功能更強大！ 二、三者的介紹 RDD：傳統
2018-09-13 07:16:47
原创 解析spark和mapReduce的區別和優劣
作者：知乎用戶 鏈接：https://www.zhihu.com/question/53354580/answer/307863620 來源：知乎 著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。 首先大數據涉及
2018-09-06 19:30:09
1