原创 linux bash環境變量加載過程

相關文件 /etc/bashrc /etc/profile ~/.bashrc ~/.bash_profile 加載時機: /etc/profile 和 ~/.bash_profile 只在用戶登陸時加載 /etc/bashrc

原创 java Scanner連續拋出異常

**所在的包:**java.util 問題描述: 在使用scanner進入數字讀取時,當輸入的數字有誤時(如:12a1)會拋出異常,這時如果再重複進行數字讀取時,會一直拋出異常 原因: 當讀取產生異常時,之前輸入的內容任然駐留在S

原创 Hive常用高級操作

1. 分組去重 取出連續七天都有交易記錄的用戶的每天的第一筆訂單 思路,先通過(用戶名, 交易時間)排序,然後使用row_number() over (partition by 用戶名,交易時間(年月日) order by 時間戳) 進行

原创 Linux查看軟件依賴關係

ldconfig 刷新動態鏈接庫  -v 顯示可用鏈接庫 ldd 查看鏈接庫或者可執行文件依賴的鏈接庫 rpm -q 查看安裝的軟件對應的rpm包 rpm -qR 查看軟件依賴哪些庫 yum deplist 查看軟件被哪些庫依賴  

原创 Hadoop相關配置文件

##相關文件 yarn-env.sh //yarn環境 hadoop-env.sh //hadoop環境變量 core-site.xml //核心組件 hdfs-site.xml //文件系統配置 slaves //設置從節點主機

原创 httpd-2.4.38在centos6.6中編譯安裝

1.從apache官網下載httpd-2.4.38源碼包進行解壓縮 2.下載httpd-2.4.38編譯所需的基礎依賴包,並進行編譯安裝(有的軟件包,系統可能已經附帶了,但是可能太低,編譯的過程中可能會出現問題),包括: apr apr-

原创 httpd與php編譯安裝

1.從官網下載源碼包,解壓縮 tar -xf httpd-2.4.38.tar.gz -C ./ 2.編譯安裝httpd ./configure --prefix=/usr/local/apps/httpd-2.4.38 make &

原创 spark2.0.2安裝記錄

1.安裝前置依賴: 安裝jkd,並配置環境變量;安裝完成後,輸入java和javac確保正常輸出提示 安裝scala,並配置環境變量;安裝完成後,輸入scala確保能進入交互模式 2.安裝spark 先在主節點上安裝軟件包 1.從官網下載

原创 hive常用語句

分組去除重複 SELECT t.* FROM ( SELECT field1, field2, row_number() OVER(PARTITION BY field1 ORDER BY field2) rank FRO

原创 Hive2.1安裝步驟

前置需求: hadoop、mysql已安裝 mysql中創建名爲hive的數據庫,並添加hive用戶,然後將hive數據庫的所有權限賦予hive用戶 安裝步驟: 1.解壓tar包到安裝目錄 tar -xzf hive-2.1.1 /u

原创 linux使用tar包安裝mysql5.5

目錄 1.添加mysql用戶 2.解壓mysql壓縮包到安裝目錄 3.複製support-files/my-small.cfg到/etc/my.cnf 4.修改配置文件 /etc/my.cnf,添加附加內容 5.初始化數據庫 6.設置ro

原创 linux常用命令選項

網絡管理 netstat -naptu ifconfig ip addr 進程管理 top ps -auxf | axjf pstree who -aHl kill -9 {pid} pmap 文本處理 more

原创 正則表達式模式修飾符

(?i)即匹配時不區分大小寫。表示匹配時不區分大小寫。 (?s)即Singleline(單行模式)。表示更改.的含義,使它與每一個字符匹配(包括換行 符\n)。 (?m)即Multiline(多行模式) 。 表示更改^和的含義,使它

原创 java Scanner連續拋出問題

**所在的包:**java.util 問題描述: 在使用scanner進入數字讀取時,當輸入的數字有誤時(如:12a1)會拋出異常,這時如果再重複進行數字讀取時,會一直拋出異常 原因: 當讀取產生異常時,之前輸入的內容任然駐留在Sca

原创 java浮點數運算丟失精度問題

產生原因 解決方法 使用 java.math.BigDecimal 進行運算 BigDecimal常用方法 BigDecimal(String); //構造函數 //加減乘除 BigDecimal add(BigDecimal);