原创 Docker（應用篇）

想看Docker簡介的可以看這裏Docker（介紹篇） 另外對於docker想可視化操作的話可以試試30天瞭解30種技術系列—(13)Docker UI框架DockerUI 1 安裝Docker 安裝系統：Ubuntu16.04

2020-06-10 04:24:50 1

原创 自動化與運維入門（五）——代碼發佈基本知識

1 代碼發佈簡介 1.1 什麼是代碼發佈 代碼發佈是：將代碼放到互聯網服務器上，對外提供web服務。 1.2 發佈方式 常見的代碼發佈方式有兩種：手工方式和腳本方 手工發佈代碼 腳本發佈代碼 慢 快 干擾因素多

2020-06-10 04:24:40

原创 聚類評價指標適用條件

根據<<Quality assessment of dimensionality reduction: Rank-based criteria>>總結的聚類指標適用條件 背景：該文章是2010發佈的一遍文獻，介紹了內部聚類的11種

2019-09-05 17:23:40 19

原创 七牛雲第三方資源獲取（python）

研究了半天總算搞清楚七牛雲的第三方資源獲取，在這裏開源一下classSaveImage(object):def__init__(self):#AccessKey和SecretKeyself.access_

2019-04-23 19:12:01

原创 概率論與數理統計學習筆記三（隨機變量，離散隨機變量 分佈函數）

第九講 隨機變量 這裏的性質3可以用函數的概率理解，隨機變量本質是函數，而對於一個樣本點（x值）只有一個結果（y值），所以x值不同的時候，一定不會有Xi=Xj，也即是空集。 第十講 離散型隨機變量 01分佈 二項分佈

2019-02-28 22:12:36

原创 概率論與數理統計二（全概率公式、貝葉斯公式，條件獨立性）

第七講 全概率公式和貝葉斯公式 先看一個題目： 其中，P(Bi)的概率稱爲先驗概率，P（Bi|A）的概率稱爲後驗概率 第八講 事件獨立性 但是兩兩獨立不能證明三者相互獨立，如下題： 所以，由事件兩兩獨立不能推

2019-02-27 22:19:24

原创 概率論與數理統計學習筆記 （一）

緒論 一、確切來說，概率論和數理統計是兩個學科 概率論是數學的一個分支，研究如何定量描述隨機現象及其規律 數理統計則是以數據爲唯一研究對象，包括數據的收集、整理、分析和建模，從而對隨機現象的某些規律進行預測和決策。 二、怎樣學習《概率

2019-02-20 21:35:20

原创 windows部署代碼到docker中

1.按照Docker 網上教程很多，這裏就不多囉嗦了 2.生成requirements.txt文件 pip install reqires 安裝完成後命令行進入項目根目錄，輸入 pipreqs ./ --encoding=utf8

2018-12-12 21:51:30

原创 如何查找Anaconda中不同環境的位置

因爲網上沒找到答案所以記錄一下 本人的路徑是在 C:\Users\Star Platinum\AppData\Local\conda\conda\envs\python_for_crawl\Scripts 主要的話就是在 conda

2018-12-07 22:18:56

原创 對於常見排序算法的時間複雜度比較

算法 最優 最劣 平均情況 穩定性 備註 冒泡排序 O(n) O(n^2) O(n^2) 穩定 n小時比較好 選擇排序 O(n^2) O(n^2) O(n^2) 不穩定 n小時比較好 插入排序 O(n^2) O(

2018-10-20 08:57:25

原创 數據分析簡單流程

一 基本統計 基本統計分析又叫描述性統計分析，一般統計某個變量的最小值，第一四分位值，中值，第三四分位值，以及最大值。 常用的統計指標： 指標 panda方法或屬性 計數 size（） 最大值 max 最小值 m

2018-10-20 08:57:25 2

原创 如何自己實現一個scrapy框架——框架完善（五）

本篇內容包括：動態導入模塊的實現 ，請求去重的實現，異步的實現 #一、動態模塊導入的實現 ##1 目前代碼存在的問題 通過前面的代碼編寫，我們已經能夠完成大部分的任務，但是在main.py 中的代碼非常臃腫，對應的我們可以在setti

2018-10-13 09:07:55

原创 如何自己實現一個scrapy框架——框架升級（六）

#框架升級 – 分佈式爬蟲設計原理及其實現 學習內容： 瞭解分佈式的實現原理 瞭解在redis實現的隊列中，put和put_nowait以及get和get_nowait的區別 完成代碼的重構，實現分佈式 ##1 分佈式爬蟲原理 多臺服

2018-10-13 09:07:54 6

原创 如何自己實現一個scrapy框架——項目實戰（八）

#騰訊招聘爬蟲案例 ##1 騰訊招聘爬蟲代碼 from scrapy_plus.core.spider import Spider from scrapy_plus.htttp.request import Request cla

2018-10-13 09:07:54

原创 rediscrawlSpider使用-亞馬遜圖書案例

#1.需求瞭解 需求：抓取亞馬遜圖書的信息 目標：抓取亞馬遜圖書信息, 有圖書的名字、封面圖片地址、圖書url地址、作者、出版社、出版時間、價格、圖書所屬大分類、圖書所屬小的分類、分類的url地址 url:https://www.am

2018-10-13 09:07:54 5