原创 Python3.7.3安裝

python不是解壓就能用的,得先編譯,如果不小心刪除了原來的python,那就徹底刪乾淨,再重新安裝 刪除python包            rpm -qa|grep python|xargs rpm -ev --allmatches

原创 Sql Server的格式轉換

Sql Server的語法跟平時用到的Mysql的語法稍微有點不一樣,因此記錄下,以便後續學習   正文 Sql Server中的格式轉換功能      Sql語句中常用的類型轉換函數主要有兩種,Cast 函數和Convert函數。在大多

原创 Kettle將數據導入導Hive2

前言        本來將數據導入到hive,但是不知道什麼原因太慢了,一小時200條數據,優化一波kettle,還是成效不大,因此改爲借用hadoop file output 到hdfs,然後再load 到hive表裏 一,正文 1.在

原创 kafka消息阻塞

原文鏈接:https://blog.csdn.net/GKQQQ/article/details/79409221 轉自:https://blog.csdn.net/GKQQQ/article/

原创 flink設置環境變量

環境設置 env = StreamExecutionEnvironment.getExecutionEnvironment(); env.getConfig.disableSysoutLogging();   1,enableClosur

原创 idea所有的文件都是紅色的

idea如果用過版本控制器,其下面的項目默認都是加入到版本控制裏面,因此項目名稱和文件都是紅色的,我的是用過git 類似這樣 此時只要在idea中將version control修改爲none就可以了 1,Setting——>Versi

原创 Hive建表時多字符分割

一般hive建表的時候都會根據數據的分隔符進行建表,表的分隔符分三種 1,默認分隔符 \n 行分隔符 ^A 字段分隔符,八進制表示爲\001,  ^B array或struct中爲元素分隔符,map中爲key-value分隔符\002 ^

原创 Hive靜/動態分區

Hive分區表分爲靜態分區跟動態分區 1,靜態分區      顧名思義,靜態分區就是將分區寫死,以指定的內容值分區 create external table tb_test( id int, name string, age,int

原创 如何使用ssh key登陸Linux服務器

作爲初學者肯定是喜歡用密碼登陸,因爲簡單,但是不安全,如果有牛掰的人物攻擊你的服務器,你就完了,所以用ssh登陸,ssh全稱是Secure Shell,安全外殼,是建立在應用層和傳輸層基礎上的安全協議 1.Windows下cmd--> 找

原创 git使用

1、執行git命令,此命令會在當前目錄下創建一個.git文件夾     git init      2、將項目的所有文件添加到倉庫中     git add .      3、將add的文件commit到倉庫,     git commi

原创 linux清理緩存

查看緩存的命令   free -m(顯示以M爲單位)         free -g(顯示以G爲單位) 清理緩存的命令       echo 1 > /proc/sys/vm/drop_caches           echo 2 > 

原创 centos密碼正確而不能ssh的處理方法

centos密碼正確,服務器上root可以登錄,外網不能ssh,這個類問題可能是以下情況: 1,開啓了防火牆,沒有開啓端口,直接的方法就是關閉防火牆(當然可以不關閉防火牆,可以開啓端口) 永久關閉防火牆 chkconfig iptable

原创 CentOS7查詢端口占用,清除端口占用的程序

1、根據端口號得到其佔用的進程的詳細信息 netstat -tlnp|grep 80 tcp        0      0 192.168.33.10:80            0.0.0.0:*                  

原创 CentOS上配置不同版本的JDK

有時候在一個系統上得用到不同版本的jdk,這時候需要在普通用戶(非root)級別下才能進行 1、我現在root用戶下 java -version 2,然後將自己需要的jdk-1.8下載好並解壓到/opt/下,並重命名爲jdk 3,回到普

原创 CentOS設置了免密登陸但還是需要密碼

設置了免密碼登陸但是還是需要輸入密碼: 這個一般發生在普通用戶(非root)上,是權限造成的        權限保證:1、authorized-keys 的權限爲 600或700                   2、home、普通用戶