原创 Spark基礎
官方文檔：spark.apache.org/docs/latest Spark背景 MapReduce侷限性： 1>) 繁雜 map/reduce (mapjoin沒有reduce)
2018-09-11 06:04:05
原创 大數據之---Hive全網最詳細的編譯tar及部署終極篇
1、軟件環境RHEL6角色jdkhadoop-2.8.1.tar.gz apache-maven-3.3.9 mysql-5.1xx.xx.xx.xx ip地址NNhadoop01xx.xx.xx.xx ip地址DNhadoop02xx.
2018-09-11 06:04:05
原创 大數據之---CDH集羣版本部署全網終極篇---更新中
1、軟件環境和IP規劃RHEL6 角色 jdk-8u45apache-maven-3.3.9hive-1.1.0-cdh5.7.1-src.tar.gz hadoop-2.8.1.tar.gz mysql-connector-java-6.
2018-09-11 06:04:05
原创 大數據之---官方文檔使用大全終極篇----持續更新中
HDFS web訪問 50070YARN web管理 8088HistoryServer web管理 19888Zookeeper 服務端口 2181Hive 服務端口 10000Kafka 服務端口 9092azkaban web界面 8
2018-09-11 06:04:05
原创 大數據之---Yarn僞分佈式部署和MapReduce案例
1、軟件環境 RHEL6 角色 jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址 NN hadoop01xx.xx.xx.xx ip地址 DN hadoop02xx.xx.xx.xx i
2018-09-11 06:04:05
原创 大數據之---僞分佈式部署之終極篇
------------------------------軟件版本--------------------------------------RHEL6.8hadoop2.8.1apache-maven-3.3.9 findbugs-
2018-09-11 06:04:04
3
原创 大數據之----hadoop中各pid進程號之快速定位
經常管理和監控，需要進行shell編程，直接對進程kill或者重啓操作。我們需要進行快速定位到每個進程的pid號pid默認存儲在/tmp目錄 pid內容爲進程號 ps -ef|grep hadoop 出現PID A,B,C 可能誤殺B,C
2018-09-11 06:04:04
原创 命令screen
-S sockname 創建一個會話-r 進入一個detached會話 -list 查看會話列表 會話狀態:1.detached 無人2.Attached 有人 退出會話，會話後臺執行: crtl
2018-09-11 06:04:04
原创 11.2.0.4 rac asm靜默部署
需要將一套單機庫數據遷移到rac環境中，需要部署一套11.2.0.4 rac asm 環境，特殊環境客戶現場提供的服務器沒有圖形，又不能在服務器上面安裝軟件。系統軟件專人安裝，只能在無圖形下進行安裝，遠程網絡還不給力，多折騰一天。 1、
2018-09-11 06:04:04
原创 shell命令之column對齊字段
可以將文本結果轉換爲整齊的表格，上下對齊 命令: Column 使用的參數：-t ：表格，默認以空格間隔-s：需要配合-t使用，指定分隔符 監控ogg命名字段對齊 [oracle@db ogg]$ (echo info all;ec
2018-09-11 06:04:04
原创 大數據之---hadoop問題排查彙總終極篇---持續更新中
1、軟件環境 RHEL6 角色 jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址 NN hadoop1xx.xx.xx.xx ip地址 DN hadoop2xx.xx.xx.xx ip地址
2018-09-11 06:04:04
原创 大數據之---hadoop常用命令大全終極篇
軟件環境 RHEL6.8 hadoop2.8.1 apache-maven-3.3.9findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45(操作環境root安裝啓動的hadoop)hadoop fs =
2018-09-11 06:04:04
1
原创 訪問V$LOCK視圖出現性能問題和temp報錯
開發人員反映查詢v$lock特別慢； 手工執行報錯 [oracle@testdb ~]$ sqlplus / as sysdba SQL*Plus: Release 11.2.0.3.0 Production on Mon May 7 16
2018-09-11 06:04:03
1
原创 oracle11.2.0.4 rac asm啓動故障
現場人員反映一套庫啓動失敗，集羣資源啓動失敗，發截圖和日誌過來分析 分析日誌後發現： ASM沒有啓動 OCR等不能啓動 問題1： 2018-05-08 11:59:39.980: [ OCRASM][1639659296]propras
2018-09-11 06:04:03
原创 Open Live Writer安裝發佈管理博客
官網下載http://openlivewriter.org/ 配置相關信息 CSDN： 博客地址：http://blog.csdn.net/CSDN用戶名 用戶名：CSDN用戶名 密碼：CSDN登錄密碼 選擇“Metaweblog
2018-09-11 06:04:03
1