原创 Presto 聚合函數（UDAF） 開發詳細步驟

1.加入相關依賴： packaging>presto-plugin</packaging>     <!--設置presto版本--> <properties>     <presto.verison>0.208</presto.ver

2019-01-12 16:18:24 10

原创 Spring boot 使用@ConfigurationProperties來獲取配置文件中的屬性配置

有時候有這樣子的情景，我們想把配置文件的信息，讀取並自動封裝成實體類，這樣子，我們在代碼裏面使用就輕鬆方便多了，這時候，我們就可以使用@ConfigurationProperties，它可以把同類的配置信息自動封裝成實體類 1.在appl

2019-01-02 16:40:27

原创 上傳jar到遠程倉庫

1.修改maven的配置文件settings.xml $>vi ~/Soft/maven/conf/settings.xml 2.修改內容： <server>      <id>nexus-releases</id>  

2018-12-26 19:05:42

原创 Hive開發UDF

編寫用戶自定義函數,來滿足默認函數不能滿足的需求。 1.創建maven項目，導入相關依賴： dependencies <dependency>     <groupId>org.apache.hive</groupId>     <ar

2018-12-23 16:15:15 1

原创 Presto開發udf自定義函數（標量函數）

前言：在 Presto 中，函數大體分爲三種：scalar，aggregation 和 window 類型。 scalar 就是標量函數，簡單來說就是 Java 中的一個靜態方法，本身沒有任何狀態。下面介紹的就是scalar標量函數 相比

2018-12-23 16:15:15 56

原创 基於CentOS6.5系統Hadoop2.7.3完全分佈式集羣搭建詳細步驟

 前言：本次搭建hadoop集羣使用虛擬機克隆方式克隆slave節點，這樣做可以省去很多不必要的操作，來縮短我們的搭建時間。 一、所需硬件，軟件要求 使用 VMWare構建三臺虛擬機模擬真實物理環境 操作系統：CentOS6.5 二、必備

2018-08-26 22:23:54

原创 Shell腳本編程

一、什麼是Shell？Shell 是一個用 C 語言編寫的程序，它是用戶使用 Linux 的橋樑。Shell 既是一種命令語言，又是一種程序設計語言。Shell 是指一種應用程序，這個應用程序提供了一個界面，用戶通過這個界面訪問操作系統內

2018-08-26 22:23:52

原创 開發Servlet組件你不能不知道的東西

1.Tomcat概念：    tomcat是ApacheSoft組織下的一款用於擴展web服務器的一個Servlet容器，此款軟件需要在jre環境下運行啓動。2.myeclipse配置Tomcat環境點擊window選擇Preferenc

2018-08-26 22:23:52

原创 基於CentOS6.5 Mysql安裝基於yum和手動安裝

Yum安裝     1.驗證Centos是否安裝MySQL        $>yum list installed | grep mysql     2.刪除MySql        $>yum –y remove mysql-libs.

2018-08-26 22:23:49 1

原创 超詳細Linux命令大全

一、Linux文件系統結構： 對其中比較常用的進行總結：1）根目錄（/）：唯一的2）bin:(binary的簡寫：二進制)：存的是一些系統級別的命令文件3）dev:（device的簡寫：設備）：可以掛載一些其他設備4）home:是用戶的主

2018-08-26 22:23:49

原创 For direct MetaStore DB connections, we don't support retries at the client level.

已經配置好hive，mysql作爲元數據的數據庫。在hive中執行drop語句出錯： hive>drop table tableName; 出現下面提示信息： FAILED: SemanticException Unable to fe

2018-08-26 22:23:49 4

原创 Hive搭建（使用MySQL數據庫作爲Meta Store）參考Hive編程指南（P28）

Hive安裝默認使用的是Derby數據庫，但是通常設置使用自己的安裝的數據庫，如果想要安裝Hive設置自己的數據庫請按照下面操作 前提：Hadoop集羣可以正常使用            在Master節點或者其他節點上安裝好MySQL數

2018-08-26 22:23:46 5

原创 VMware虛擬機中如何安裝VMware Tools增強工具，以解決VMware虛擬機和本地系統之間複製粘貼問題

1.操作環境： window10（本機系統） VMware虛擬機 2.遇到問題         在windows系統上安裝VMware虛擬機，然後就可以在虛擬機上面模擬一些我們想要的運行環境，但是在使用的過程中會發現，windows系統上

2018-08-26 22:23:46 6

原创 VMWare虛擬機上安裝Linux操作系統詳細步驟（CentOS系統）

        當我們使用電腦進行工作或者學習的時候，不滿足只在當前的系統上工作怎麼辦，也就是你自己的電腦系統是Windows系統，而你要在Linux系統上進行操作，爲了不對我們本電腦系統造成影響，我們可以選擇安裝虛擬機，來完成我們這樣的

2018-08-26 22:23:46 4

原创 Linux系統安裝eclipse及eclipse快捷方式生成辦法

首先你要下載和你linux版本對應的eclipse工具包，本例使用.tar.gz的eclipse軟件包，基於桌面版本的CentOS5.5版本。使用(SSH FTP)把軟件包上傳到虛擬機linux系統上。(SSH FTP)使用方法參考博客：

2018-08-26 22:23:46 2