原创 cat less more head tail命令比較
linux查看文件內容常用命令有：cat、more、less、head、tail等。 主要區別 cat命令可以一次顯示整個文件，如果文件比較大，使用不是很方便； more命令可以讓屏幕在顯示滿一屏幕時暫停，按空格往前翻頁，按b往後翻
2018-09-15 00:12:54
原创 SSH交互式腳本StrictHostKeyChecking選項
SSH 公鑰檢查是一個重要的安全機制，可以防範中間人劫持等黑客攻擊。但是在特定情況下，嚴格的 SSH 公鑰檢查會破壞一些依賴 SSH 協議的自動化任務，就需要一種手段能夠繞過 SSH 的公鑰檢查。 什麼是SSH公鑰檢查 SSH 連接遠程主
2018-09-06 22:09:19
12
原创 [Golang] 分佈式id生成算法SnowFlake
SnowFlake算法是一種以劃分命名空間來生成ID的一種算法，生成id的結果是一個64bit大小的整數。 優點： 毫秒數在高位，自增序列在低位，整個ID都是趨勢遞增的。 不依賴數據庫等第三方系統，以服務的方式部署，穩定性更高，生成ID
2018-08-21 23:23:47
原创 Linux文件傳輸的三種方式
1 命令 執行如下命令，在目標機器(假設ip爲10.11.12.13)上監聽端口8415 nc -l 8415 > data.txt 往目標機器發送數據 nc -v 10.11.12.13 8415 < ~/Downloads/da
2018-08-21 23:23:36
原创 高併發服務設計——緩存
1 緩存回收策略 1.1 基於空間 即設置緩存的存儲空間，如設置爲10MB，當達到存儲空間時，按照一定的策略移除數據。 1.2 基於容量 基於容量指緩存設置了最大大小，當緩存的條目超過最大大小，則按照一定的策略將舊數據移除。 1.3 基於
2018-08-21 23:23:36
原创 讀寫HDFS的三種方式
1 HttpFS Authenticator.setDefault(new MyAuthenticator()); URL url = new URL("http://dev.test.com:14000/webhdfs/v1/tmp/t
2018-08-21 23:23:36
原创 Shell入門教程[2]
Shell 流程控制 if else if if else if else-if else for 循環 while 語句 case 跳出循環 break命令 continue命令 esac Shell 函數 函數參數
2018-08-21 23:23:35
原创 Hadoop環境搭建詳解
Hadoop部署模式有：本地模式、僞分佈模式、完全分佈式模式、HA完全分佈式模式。 區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模塊運行在幾個JVM進程、幾個機器。 模式名
2018-08-21 23:23:35
原创 ctags使用詳解
1 查看ctags支持的語言 2 查看語言和擴展名的對應關係 3 查看ctags可以識別和記錄的語法元素 4 對當前目錄下所有ctags支持的語言格式文件生成tags 5 只對特定文件生成tags 6 使用tags 6.1 tag命
2018-08-21 23:23:35
1
原创 ThreadPoolTaskExecutor使用詳解
當我們需要實現併發、異步等操作時，通常都會使用到ThreadPoolTaskExecutor，現對其使用稍作總結。 配置 ThreadPoolTaskExecutor通常通過XML方式配置，或者通過Executors的工廠方法進行配置。
2018-08-21 23:23:34
原创 Shell入門教程[1]
Shell 環境 第一個shell腳本： 運行 Shell 腳本有兩種方法： Shell 變量 定義變量 使用變量 只讀變量 刪除變量 變量類型 Shell 字符串 單引號 雙引號 拼接字符串 獲取字符串長度 提取子字符串 查
2018-08-21 23:23:34
原创 常用hadoop dfs命令
創建目錄 hadoop dfs -mkdir /home 上傳文件或目錄到hdfs hadoop dfs -put hello / hadoop dfs -put hellodir/ / 查看目錄 hadoop dfs -ls / 創建一
2018-08-21 23:23:34
原创 什麼是Docker鏡像、容器和倉庫？
Docker 包括三個基本概念： 鏡像（Image）、容器（Container）、倉庫（Repository），理解了這三個概念，就理解了 Docker 的整個生命週期。 鏡像 Docker 包括三個基本概念 鏡像（Image） 容
2018-08-21 23:23:34
原创 Douglas-Peucker壓縮算法
Douglas-Peucker算法(道格拉斯-普克算法）是將曲線近似表示爲一系列點，並減少點的數量的一種算法。它的優點是具有平移和旋轉不變性，給定曲線與閾值後，抽樣結果一定。Douglas—Peucker算法通常用於線狀矢量數據壓縮、軌跡
2018-08-21 23:23:33
原创 淺談Bloom Filter基本原理及使用方式
一提到元素查找，我們會很自然的想到HashMap。通過將哈希函數作用於key上，我們得到了哈希值，基於哈希值我們可以去表裏的相應位置獲取對應的數據。除了存在哈希衝突問題之外，HashMap一個很大的問題就是空間效率低。引入Bloom Fi
2018-08-21 23:23:33
1