原创 oozie報錯java.lang.NoSuchFieldError: HADOOP_CLASSPATH

 解決方法: 在路徑/usr/local/oozie/oozie-server/webapps/oozie/WEB-INF/lib下面,查找2.6.0版本的hadoop包,然後刪除或者移走備份。

原创 Python基礎數據類型

變量賦值 Python 中的變量不需要聲明。每個變量在使用前都必須賦值,變量賦值以後該變量纔會被創建。 在 Python 中,變量就是變量,它沒有類型,我們所說的"類型"是變量所指的內存中對象的類型。 等號(=)用來給變量賦值。 等號(=

原创 Python註釋

Python3 註釋 確保對模塊, 函數, 方法和行內註釋使用正確的風格 Python中的註釋有單行註釋和多行註釋: Python中單行註釋以 # 開頭,例如:: # 這是一個註釋 print("Hello, World!") 多行註

原创 python安裝配置

Python3 下載 Python3 最新源碼,二進制文檔,新聞資訊等可以在 Python 的官網查看到: Python 官網:https://www.python.org/ 你可以在以下鏈接中下載 Python 的文檔,你可以下載 HT

原创 python基礎語法

編碼 默認情況下,Python 3 源碼文件以 UTF-8 編碼,所有字符串都是 unicode 字符串。 當然你也可以爲源碼文件指定不同的編碼: # -*- coding: cp-1252 -*- 上述定義允許在源文件中使用 Wind

原创 第一個Python程序

Python是一種解釋型、面向對象、動態數據類型的高級程序設計語言。 Python由Guido van Rossum於1989年底發明,第一個公開發行版發行於1991年。 像Perl語言一樣, Python 源代碼同樣遵循 GPL(GNU

原创 Ubuntu mysql安裝

一、ubuntu上安裝mysql非常簡單只需要幾條命令就可以完成。   1. sudo apt-get install mysql-server   2. apt-get install mysql-client   3.  sudo a

原创 Ubuntu mysql卸載

刪除mysql,以5.5爲例 1.sudo apt-get autoremove --purge mysql-server-5.5 2.sudo apt-get remove mysql-common sudo rm -rf /etc/m

原创 centos6 mysql安裝

Linux安裝Mysql: 方式一,在線安裝:     1)yum search mysql     2) yum install mysql-server.x86_64 -y 方式二,離線安裝:     1)下載MySQL-server

原创 hive1.2.1安裝配置

配置Hive: 1)解壓縮apache-hive-1.2.1-bin.tar.gz 文件,tar -zxf /opt/apache-hive-1.2.1-bin.tar.gz -C /usr/local,這裏解壓在/opt目錄下。 2)

原创 pycharm配置pyspark環境

1.下載Spark安裝包。解壓後在Windows配置環境變量SPARK_HOME,值爲spark安裝包路徑,並將$SPARK_HOME/bin加入Path 2.本地安裝Python、pycharm 3.點擊pycharm,點擊File-S

原创 Spark2.3.1安裝

環境: hadoop2.6.4 jdk1.8 centos4.8 步驟如下: 1.在Apache官網下載Spark2.3.1的安裝包 2.上傳到Linux並解壓 tar -zxvf spark-2.3.1-bin-hadoop2.6.tg

原创 爲pyspark中的python安裝numpy、py4j模塊

Python3.6.5中並沒有實現安裝好numpy跟py4j的包,但是這兩個包是pyspark以及其中的MLlib運行必不可少的模塊,因此需要爲pyspark使用的Python3.6.5安裝模塊包。 環境: Python3.6.5 Spa