原创 pandas 基礎
pandas有兩個主要的數據結構DataFrame和Series。DataFrame是一個類似數據庫表的二維結構，Series是一個一維結構。對於pandas的一個簡單直觀的認識就是pandas基於這兩個數據結構，提供了相關的數據操作和繪
2020-02-21 13:28:05
原创 Spark MLlib 入門學習筆記 - 支持向量機
支持向量機可用來解決一般線性迴歸和邏輯迴歸不好處理的問題，準確性比較好。MLlib中對支持向量機有較好的支持，它的使用方法與邏輯迴歸類似。 package classify import org.apache.spark.mllib.
2020-02-21 13:28:05
原创 Python 網絡抓取和文本挖掘 - 4 瀕危世界遺產地
完成概述一章的案例研究： 瀕危世界遺產地。書中用R的stringr、XML和maps三各library來實現。在python實現書上的功能也需要配置相應的環境。開發環境用的是windows. 1. 準備工作 1) 到 http://dow
2020-02-21 13:28:04
原创 bash 基本技巧 - 2
整理彙總從網上、書上看到的bash腳本的基本技巧，實驗記錄。 1. shell 拆分字符串，split 功能 string="1,2,3,4,5,6" arrs=(${string//,/ }) # /,/ 用空格替換, for a
2020-02-21 13:28:04
原创 Spark MLlib 入門學習筆記 - 邏輯迴歸
關於邏輯迴歸的算法原理 Spark官方文檔裏有說明，另外網上也有中文翻譯文檔可參考。本筆記是學習MLlib的輯迴歸API使用時一道練習題記錄，通過這道練習，可以掌握基本使用。MLLib提供了兩種算法實現，分別是SGD梯度下降法和LBFG
2020-02-21 13:28:04
原创 Flask 入門筆記（1）開發環境
Flask入門筆記(1) 開發環境 採用虛擬機和docker搭建開發環境，虛擬機操作系統爲debian 8，安裝docker和visual studio code，共需要3個docker容器：mysql、redis和python 3
2018-09-25 22:30:08
3
原创 Node.js 入門筆記(3) - bootstrap
在hellonodejs的下建一個libs目錄，將bootstrap的文件放到放到這目錄下，在vscode下可以看到這些文件。bootstrap用的3.3.7，jquery用的v3.2.1。 採用bootstrap進行佈局的基本目標是在
2018-09-03 18:01:51
原创 Node.js 入門筆記(5) - child_process
應用child_process調用執行ansible命令。node.js的文本服務雲ansilbe運行在同一臺機器上。 1. 前端網頁 <div class="container" > <div class="row">
2018-09-03 18:01:38
原创 redis基本操作
1. 實驗環境 ubntu16.04，用以下命令檢查操作系統的基本配置 1) 檢查操作系統的位數： getconfig LONG_BIT 2) 檢查操作系統的內核版本：uname -a 3) 檢查操作系統版本：lsb_release -a
2018-09-03 18:01:37
5
原创 Elasticsearch API 基本使用
因爲打算採用Elasticsearch來管理Docker容器的日誌，需要掌握Elasticsearch API的使用。Elasticsearch提供RESTful APIs，通過API可以執行創建和管理索引、存儲和檢索文檔的操作。執行RE
2018-09-03 18:01:36
原创 Node.js 入門筆記(4) - session
給登錄用戶建立會話，沒有登錄的用戶，重定向到登錄頁面。 1. 檢查express-session是否安裝 E:\MyProject\nodejs\HelloNodejs>npm list |findstr "session" +-- ex
2018-09-03 18:01:36
原创 Spark MLlib 入門學習筆記 - FPGrowth頻繁項集算法
FPGrowth頻繁項集算法 關聯規則(AssociationRule)是研究不同類型的物品相互直接關聯關係的規則。Apriori算法是關聯規則挖掘的一個經典算法。FPGrowth算法克服了Apriori算法需要對數據集進行多次讀取的弊端
2018-09-03 18:01:36
4
原创 使用JMeter進行Web 性能測試 - 檢查點、關聯和參數化
1. 檢查點 JMeter通過斷言組件來實現測試結果正確性驗證。斷言組件獲取服務器的響應數據，根據斷言規則匹配這些響應數據，匹配到，正常；匹配不到，則斷定爲失敗。下面的例子是通過響應斷言判斷用戶是否登錄成功，登錄成功後，響應的數據，即h
2018-09-03 18:01:36
原创 CentOS 7 配置Docker 遠程API訪問
CentOS 7 版本 [root@gitserver ~]# uname -r 3.10.0-327.el7.x86_64 [root@gitserver ~]# cat /etc/redhat-release CentOS Linu
2018-09-03 18:01:36
6
原创 使用JMeter進行Web 性能測試 - 基本操作
1. 測試工具 1）JMeter 2.13 ，需要jdk1.7， JMeter 3 需要jdk1.8。JMeter可以模擬用戶負載，完成性能測試。 2）badboy 2.2, web自動化測試工具軟件，可以錄製和回放功能，錄製的腳本可以導
2018-09-03 18:01:36