原创 hive實現多分隔符
hive 建多分隔符表 一、測試外表： create EXTERNAL -- 外表標識 table tmp.deli_tmp_0117 ( z1 string, z2 string ) partitioned by (pt
2020-06-20 10:48:08
1
原创 Flink單機版安裝與測試最易操作教程
本文主要是講述flink單機版的搭建及測試 前期準備jave要配置好，版本最好1,8以上 首先在官網下載需要的版本，網址在下面： 這次測試使用的是flink1.6.2，Hadoop2.7.2，scala2.11 https://
2020-06-03 08:44:24
原创 hive 的regexp_extract與零寬斷言使用
結論：零寬斷言的括號不計算在regexp_extract 函數中 select regexp_extract(‘hehe: dog呵呵’,’(?>=hehe).*?([a-z]+)’,1)
2020-05-09 19:06:46
1
原创 自己用安裝包安裝MongoDB的啓停看狀態腳本
之前下載了一個MongoDB–4.0版本的，安裝完不能像其他人一樣使用service mongod start|status|stop腳本 開始在網上找了一大堆的腳本，但是都不能用，尤其是看狀態模塊失效。 於是自己動手寫了一個 在/e
2019-01-23 13:00:39
原创 linux下MongoDB的安裝以及windows下Robo 3T 遠程連接MongoDB
今天在使用MongoDB時遠程連接是出現了一些問題 下載MongoDB的安裝包，傳到linux系統目錄下，解壓 tar -zxvf mongodb-linux-x86_64-4.0.5.tgz -C /usr/local 創建數據庫
2019-01-22 01:48:05
原创 python連接kafka並消費數據
連接kafka服務端查看topic 在idea裏導入模塊pykafka 編寫代碼 # 導入安裝包 from pykafka import KafkaClient # 設置客戶端的連接信息 client = KafkaClient(ho
2019-01-20 02:08:50
1
原创 python在idea裏安裝scikit-learn模塊報錯問題及解決的坎坷之路
今天使用到了scikit-learn模塊，就在下圖點加號添加此模塊。 創建了一個項目先寫test代碼 from sklearn.feature_extraction import DictVectorizer def dictVec
2019-01-05 03:50:54
1
原创 python讀取文件的幾種方式以及數據的處理
純數字型文件的讀取：使用numpy模塊 文件名numbers.csv數據形式如下 讀取的代碼： import numpy as np data = np.loadtxt(".numbers.csv", delimiter=",")
2019-01-04 04:01:28
2
原创 記一次Python算法案例： 如果 a+b+c=1000，且 a²+b²=c²（a,b,c爲自然數），如何求出所有a、b、c可能的組合？
題目需求： 如果 a+b+c=1000，且 a²+b²=c²（a,b,c爲自然數），如何求出所有a、b、c可能的組合？ 剛開始用了最近正在學習的列表裏的循環嵌套 f= [(x,y,z) for x in range(0,1001
2019-01-03 03:58:59
7
原创 Python安裝matplotlib作圖步驟，以及出現的問題解決方案
先在idea中建一個python項目 點左上角File—>Project Structure 再點擊SDKs,看右邊的package裏有沒有matplotlib包 若沒有點最右邊的加號，在彈框裏輸入matplotlib找需要的版本
2018-12-30 05:11:54
原创 python實現加減乘除並排除異常輸入，打印乘法表
python實現加減乘除並排除異常輸入 while True: try: sushi = input("輸入算式") print(eval(sushi)) # 退出系統
2018-12-30 05:11:54
13
原创 python跨類調用方法，出現未被調用但執行在控制檯的問題解決
在Demo01文件夾下新建tests.py文件，寫入下面兩個方法 def hehe(): print("小機靈鬼") def haha(): print("大機靈鬼") 在建一個test01.py文件 開始調用方法
2018-12-29 05:52:25
原创 高級知識整理（小白勿進）=====持續更新中
javaAPI獲取文件文件名方法 InputSplit file=context.getInputSplit(); String fileName = (FileSplit) file.getPath().getName(); j
2018-12-29 05:52:25
原创 使用python做一個簡單的登錄註冊系統
最近學習重溫python，隨手寫了幾個小案例，python版本是3.x的 話不多說，上代碼 ''' 使用列表實現登錄註冊 ''' print("*" * 50) print("歡迎來到該系統") name_list = [] user
2018-12-29 05:52:25
1
原创 使用python做一個簡單的名片管理系統-------字符串拼接方式實現
使用了2018.3企業版idea和3.6版本的python完成 需求： 代碼實現 print("*" * 50) print("歡迎使用【名片管理系統】V1.0") print("") print("1.新建名片") print("
2018-12-29 05:52:25
2