原创 使用python的pexpect模塊,實現遠程免密登錄的示例
今天小編就爲大家分享一篇使用python的pexpect模塊,實現遠程免密登錄的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧 說明 當我們需要用腳本實現，遠程登錄或者遠程操作的時候，都要去解
2019-02-16 09:42:48
原创 hive表關聯結果異常問題
sql： select a.order_code,b.order_id from (select order_code from ods.ods_lsh_oms_order_head where dt = '2018-08-05'
2018-08-24 05:28:04
原创 postgresql查看數據庫,表,索引,表空間以及大小
查看數據庫 playboy=> \l //\加上字母l,相當於mysql的，mysql> show databases; List of databases Nam
2018-08-24 05:28:03
原创 hive啓動報錯解決Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
報錯內容如下，提示連接不到元數據庫 [root@bigdata conf]# hive which: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/us
2018-08-24 05:28:03
原创 udf--獲取json字符串中所有的key
hive自帶函數get_json_object（…）與json_tuple(…)都是隻能獲取json字符串中的value值，不能返回key相關的信息。 以下的udf實現的是，獲取json字符串中所有的keys package com.zj
2018-08-24 05:28:03
1
原创 udf--根據開始日期和結束日期獲取日期範圍數組
代碼 在處理一些業務場景下的數據時，我們需要按照日期範圍將日期補全，來實現某些業務場景下的需求。 我們需要的是，傳入開始時間和結束時間，返回一個日期數組。hive原生函數裏沒有這種功能。所以我們需要自己來編寫udf來實現。代碼如下 pa
2018-08-24 05:28:03
原创 hive--UDAF實例
問題：從日誌表(uid，登錄日期)，求每個uid連續登錄的最長天數 解決思路：自定義UDAF函數，將問題轉換成求最長連續日期的問題 package com.zjs.udaf; import java.text.ParseExcepti
2018-08-24 05:28:03
原创 用python的pexpect模塊，實現遠程免密登錄
說明 當我們需要用腳本實現，遠程登錄或者遠程操作的時候，都要去解決如何自動輸入密碼的問題，一般來說有3種實現方式： 1).配置公鑰私鑰 2).使用shell下的命令，expect 3).使用python的pe
2018-08-24 05:28:03
4
原创 線性代數基礎知識
1. 線性代數知識圖譜 線性代數是代數學的一個分支，主要處理線性關係問題。線性關係意即數學對象之間的關係是以一次形式來表達的。例如，在解析幾何裏，平面上直線的方程是二元一次方程；空間平面的方程是三元一次方程，而空間直線視爲兩個平面相交，
2018-08-24 05:28:03
原创 利用python將execl的數據導入hive
思路： 利用xlrd讀取execl的數據，然後load到hive表中 # -*- coding: utf-8 -*- import sys import os from imp import reload import xlrd fro
2018-08-24 05:28:03
原创 java ArrayList 轉 string、string 轉 ArrayList
string 轉 ArrayList 先將字符串按照某個字符切割，轉爲string數組 然後用Arrays的asList方法，將數組轉爲List public class test1 { public static void ma
2018-08-24 05:28:03
原创 Numpy、Pandas和Matplotlib包基礎知識
目錄(?)[+]一 Python常用擴展包二 Numpy科學計算包三 Pandas數據分析包四 Matplotlib畫圖包 前面幾篇文章採用的案例的方法進行介紹的，這篇文章主要介紹Python常用的擴展包，同時結合數據挖掘
2018-08-24 05:28:01
3
原创 udf--獲取系統當前時間
獲取系統當前時間： package com.zjs.udf; import org.apache.hadoop.hive.ql.exec.UDF; import java.text.SimpleDateFormat; import ja
2018-08-24 05:28:01
原创 mapreduce的緩存(addCacheFile)使用
1.在main()方法中添加緩存路徑 job.addCacheFile(new URI(args[2])); job.addCacheFile(new URI(args[3])); 2.在map或者reduce的setup方法中處理緩存文
2018-08-24 05:28:01
原创 mapreduce maven文件
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww
2018-08-24 05:28:01
1