原创 CDH下的spark日誌文件查詢
如果算法文件的日誌過大，通過web頁面太慢了，通過文件查詢就快的多了。 1、spark的日誌文件位置： 因爲是用yarn提交的計算任務，所以日誌是在yarn的容器中記錄的。 /yarn/container-logs 2、找到之前的算法任務
2020-02-25 04:20:38
原创 redis 導出 導入 詳解
方法一、 第一步、先redis-cli 進去後bgsave下數據將數據存儲到磁盤對應文件dump.rdb中。如果是隻存內存的請先做對應的存儲設置(修改redis.conf中的save 等參數) 第二步、 ps -ef|grep re
2019-04-04 08:27:20
原创 mongodb用戶操作
1、給一個用戶多個角色權限 db.createUser({user:"admin",pwd:"admin",roles:[{role:"userAdminAnyDatabase",db:"admin"},{role:"dbAdminAny
2019-01-17 15:45:56
原创 mongodb開啓安全認證並添加用戶
1、禁用安全認證 編輯配置文件MongoDB.conf，註釋認證： #auth = true #開啓認證 2、啓動服務 mongo -f
2019-01-17 15:45:56
原创 Java性能監控工具:VisualVM
VisualVM是JDK自帶的一款全能型性能監控和故障分析工具,包括對CPU使用、JVM堆內存消耗、線程、類加載的實時監控,內存dump文件分析,垃圾回收運行情況的可視化分析等,對故障排查和性能調優很有幫助。在windows中安裝JDK後
2019-01-02 14:47:25
4
原创 cat、tail、head、grep、sed查看文件任意幾行的數據
grep -C 5 foo file 顯示file文件裏匹配foo字串那行以及上下5行 grep -B 5 foo file 顯示foo及前5行 grep -A 5 foo file 顯示foo及後5行 grep結果太多， 可否只取前面1
2018-12-29 16:32:17
原创 Spark的運行架構分析（二）之運行模式詳解
在上一篇博客 spark的運行架構分析（一）中我們有談到Spark的運行模式是多種多樣的，那麼在這篇博客中我們來具體談談Spark的運行模式 一：Spark On Local 此種模式下，我們只需要在安裝Spark時不進行had
2018-12-12 16:01:19
原创 CentOS6 安裝yum和yum源
1.刪除redhat原有的yum rpm -aq|grep yum|xargs rpm -e –nodeps 下載yum安裝文件 Wget http://mirrors.163.com/centos/6/os/x86_64/Pac
2018-12-07 16:07:16
3
原创 關於 TensorFlow
關於 TensorFlow TensorFlow™ 是一個採用數據流圖（data flow graphs），用於數值計算的開源軟件庫。節點（Nodes）在圖中表示數學操作，圖中的線（edges）則表示在節點間相互聯繫的多維數據數組，即張量
2018-09-17 05:56:30
原创 JProfiler遠程監控
1、 服務端安裝JProfiler（與客戶端版本一致） 2、 客戶端配置連接： A）、session——integration wizards——New remote integration B）、選擇遠程監控的平臺window
2018-08-29 19:56:59
2
原创 當Java虛擬機遇上Linux Arena內存池
作者簡介 劉韜，雲和恩墨中間件服務交付團隊專家 Java開發出身，10年WebLogic相關開發、運維工作經驗，熟悉SOA、現代業務系統架構中各層組件，尤其擅長故障處理、性能優化等工作。 故障案例一 系統環境： RHEL 6.8 64-b
2018-08-29 19:56:59
28
原创 Elasticsearch創建索引和映射結構詳解
前言這篇文章詳細介紹瞭如何創建索引和某個類型的映射。下文中[address]指代elasticsearch服務器訪問地址(http://localhost:9200)。1 創建索引1.1 簡單創建語句curl -XPU
2018-08-29 02:28:18
原创 Linux下查看系統配置
CPU 1. lscpu：顯示cpu架構信息 [xxx@localhost ~]$ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit B
2018-08-29 02:28:18
1
原创 虛擬機下linux外網訪問
1、Bridge模式(一切都跟host一樣,只有ip不能與host相同) ip=192.168.39.222 netmask=255.255.252.0 gateway=192.168.39.254 DNS1=192.168.39.252
2018-08-29 02:28:18
1
原创 Elasticsearch之中文分詞器
前提什麼是倒排索引？Elasticsearch之分詞器的作用Elasticsearch之分詞器的工作流程Elasticsearch之停用詞 Elasticsearch的中文分詞器 1、單字分詞： 如：“我們是中國人” 效果
2018-08-29 02:28:18