原创 Shell腳本學習筆記——正則表達式概念、應用場景及基本要素
概念正則表達式又稱規則表達式，是用於描述一組字符串特徵的模式，用來匹配特定的字符串。通過特殊字符+普通字符來進行模式描述，從而達到文本匹配目的工具。正則表達式目前被集成到了各種文本編輯器/文本處理工具當中。應用場景驗證：表單提交時，進行用
2020-06-13 19:32:17
原创 Shell腳本學習筆記——uniq
uniq 的作用是相鄰行去重。常見選項（1）-c 的作用是標識出重複行的重複次數。（2）-d 表示只顯示重複行。（3）-u 表示只顯示文件中不重複的各行。練習結合sort、uniq工具，求file1 和 file2 的交集、並集和補集。f
2020-06-13 19:32:17
原创 大數據系列之Spark入門簡介
定義 分佈式批處理系統和分析挖掘引擎。 特性 1、高效性。Spark基於內存的運算要快100倍以上，基於硬盤的運算也要快10倍以上。Spark實現了高效的DAG（無迴路有向圖）執行引擎，可以通過基於內存來高效處理數據流。 2、易用性。
2020-06-13 19:32:07
原创 大數據系列之zookeeper入門簡介
定義 Zookeeper是一個分佈式服務框架，主要用來解決分佈式應用中經常遇到的一些數據管理問題，爲分佈式應用提供一致性服務，提供的功能包括：配置維護、域名服務、分佈式同步、組服務等。 特性 ∙ 順序一致性——從同一個客戶端發起的事
2020-06-13 19:32:07
原创 使用python+selenium編寫第一個用例
Mac電腦是自帶了python2.7的，當用戶下載新版本的python時，可能會由於兩個版本的隔離性引發一些問題。博主在寫這篇博客之前，就遇到了這個問題。明明已經下載了selenium，但是當寫了一個簡單的python腳本去運行的
2020-06-13 19:32:06
原创 Kafka入門大全
定義 一個分佈式、分區的、多副本的實時消息發佈和訂閱系統。 特點 消息持久化——消息被持久化到本地磁盤，支持數據備份以防數據丟失 高吞吐量——即使是普通硬件，Kafka也支持每秒數百萬的消息 可拓展性——搭建在分佈式集羣服務器上，支持
2020-06-13 19:32:06
原创 《探索式軟件測試》學習筆記（一）
缺陷預防 缺陷預防技術一般是從開發人員的角度來說的，包括編寫更好的設計規範，實施代碼審覈制度（code review），運行代碼靜態分析工具（static analysis tool），運行單元測試（unit testing）。 缺陷
2020-04-29 09:34:03
原创 Shell腳本學習筆記——sort
原則sort將文件的每一行作爲一個單位，相互比較，比較原則是從首字符向後，依次按ASCII碼值進行比較，最後將它們按升序輸出。常見選項（1）sort默認的排序方式是升序，如果想改成降序，使用 -r 選項即可。（2）-u 選項，作用是在輸出
2020-02-20 15:39:06
原创 Yarn入門簡介
定義 ∙ Yet Another Resource Negotiator —— 另一種資源協調者 ∙ 通用的資源管理模塊，爲各類應用程序進行資源管理和調度 產生背景 MapReduce本身存在一些問題： ∙ JobTrac
2020-02-20 15:39:06
原创 page cache簡介
定義 中文名稱：頁高速緩衝存儲器，簡稱頁高緩。 單位：頁。 大小：動態變化，因爲操作系統會將所有未直接分配給應用程序的物理內存都用於頁面緩存。 文件系統層級的緩存：page cache用於緩存文件的頁數據，從磁盤中讀取到的內容
2020-02-20 15:39:06
原创 Shell腳本學習筆記——其他常用通用字符集及其替換
有了這些符號，我們就可以簡化正則表達式的編寫了。試一試：echo "abc1239cd_@#" | grep -E --color '\d' echo "abc1239cd_@#" | grep --color '\d' 這裏我們要再引入
2020-02-20 15:39:06
原创 Shell腳本學習筆記——練習題（2）
利用Shell編寫進度條傳入至少三個數字參數到腳本，並計算出最大、最小、平均值。需要判斷傳入的數字是否足夠，若不足夠則輸出警告信息。平均值保留兩位小數。有一列數字如下：寫出第100次出現的數字是多少這道題就是斐波那契數列的問題，我們的解題
2020-02-20 15:39:06
原创 Shell腳本學習筆記——基本正則與擴展正則
我們在前面測試grep工具時，其中有一個 -E 選項，那如果將這個 -E 去掉，會出現什麼現象呢？echo "abcabcabcabcdef" | grep --color '(abc){3}'我們發現，去掉之後再進行匹配，就會出現不一樣
2020-02-20 15:39:06