原创 spark開發環境——PyCharm開發python的spark項目

1.點擊運行-編輯結構 2.在python的環境變量中新加一個PYTHONPATH 在其值中加入本地的spark中的python文件夾 D:\spark\spark-2.2.0-bin-hadoop2.6\python 以及本地的spa

原创 python學習——time

利用time輸出當前時間 import time t = time.strftime("%m%d_%H%M%S") t 輸出格式: ‘0502_114451’ (5月2日,11點44分51秒)

原创 Numpy學習——array/asarray

array()與asarray()都可以將結構化數據轉化爲ndarray的形式。

原创 spark開發環境——本地安裝spark2.x及啓動

利用python開發spark項目需要在本地安裝spark 一 本地安裝 1.下載http://spark.apache.org/downloads.html 選擇適合本機的hadoop版本,點擊鏈接下載 2.點擊鏈接完成下載 3. 

原创 python環境——PyCharm安裝

1.下載安裝包https://www.jetbrains.com/pycharm/download/#section=windows(社區版即可) (注 漢化方式,下載漢化包,如圖將文件放在安裝目錄的lib文件中) 2.運行Pycha

原创 Anaconda下使用PIP進行下載的方法

1.打開 開始——Anaconda3——Anaconda Prompt2.輸入 pip install <name> 如 pip install pyinstaller(打包python程序的第三方庫)等待安裝完成即可3.pip的常用命令

原创 Ubuntu16.04——Anaconda3安裝

1.進入Anaconda官網,複製Anaconda3下載鏈接地址。 https://repo.continum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh 2.進入終端輸入命令:

原创 Spark+Hadoop集羣搭建:(三)在Hadoop集羣上安裝Spark

Spark+Hadoop集羣搭建:(三)在Hadoop集羣上安裝Spark1 Scala安裝1.1 下載安裝包1.2 解壓1.3 遷移目錄1.4 配置環境變量1.5 啓動scala2 安裝Spark2.1 下載安裝包2.2 解壓2.3

原创 Spark+Hadoop集羣搭建:(零)簡介與說明

Spark+Hadoop集羣搭建:(零)簡介與說明1 背景2 主要內容3 使用工具版本說明4 文章列表5 參考文獻 注:未完成,待修改 1 背景 2 主要內容 利用虛擬機實現Linux操作系統上的Spark+Hadoop大數據集羣,並

原创 Spark+Hadoop集羣搭建:(二)集羣節點上搭建Hadoop環境

Spark+Hadoop集羣搭建:(二)集羣節點上搭建Hadoop環境1 集羣規劃1.1 節點規劃2 構建data12.1 複製生成data12.2 設置網卡2.3 配置data1服務器2.3.1 編輯hostname主機名2.3.2

原创 Spark+Hadoop集羣搭建:(一)單一節點上搭建Hadoop環境

Spark+Hadoop集羣搭建:(一)單一節點上搭建Hadoop環境1 安裝JDK2 下載安裝Hadoop2.1 下載Hadoop2.2 解壓2.3 配置Hadoop環境變量2.3.1 設置JDK與Hadoop安裝路徑2.3.2 設

原创 在VirtualBox 6虛擬機上安裝Ubuntu Linux 18.04操作系統

在VirtualBox 6虛擬機上安裝Ubuntu Linux 18.04操作系統1 VirtualBox虛擬機的安裝2 設置VirtualBox存儲文件夾3 在VirtualBox中創建虛擬機3.1 新建虛擬機3.2 設置虛擬機內存

原创 JavaScript——比較和邏輯運算符

比較運算符: 比較運算符在邏輯語句中使用,以測定變量或值是否相等。 給定 x=10,下面的表格解釋了比較運算符: 運算符 描述 例子 == 等於 x==8爲false === 全等(值和類型) x===10爲true,x

原创 JavaScript——基礎知識

script 標籤: 如需在 HTML 頁面中插入 JavaScript,請使用 <script> 標籤。 <script> 和 </script> 會告訴 JavaScript 在何處開始和結束。 腳本可被放置在 HTML 頁面的 <b

原创 JavaScript——循環

JavaScript 支持不同類型的循環: for - 循環代碼塊一定的次數 for/in - 循環遍歷對象的屬性 while - 當指定的條件爲 true 時循環指定的代碼塊 do/while - 同樣當指定的條件爲 true 時循環指