原创 安裝pip和setuptool源碼

本操作命令在deepin-15.4.1上測試成功,每行命令必須依次執行,最好在前面加sudo管理員權限運行 wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b48

原创 virtualenv,常用命令和管理(已更新)

linux下安裝:sudo apt-get install python-virtualenvpip install virtualenvwrappe

原创 Scrapy-redis實現分佈式爬取的過程與原理

Scrapy是一個比較好用的Python爬蟲框架,你只需要編寫幾個組件就可以實現網頁數據的爬取。但是當我們要爬取的頁面非常多的時候,單個主機的處理能力就不能滿足我們的需求了(無論是處理速度還是網絡請求的併發數),這時候分佈式爬蟲的優勢就

原创 怎樣用通俗的語言解釋REST,以及RESTful?

一句話: 就是用URL定位資源,用HTTP描述操作。 我在這裏的答案主要解釋什麼是REST? 爲什麼要用REST?不包括具體該如何使用REST風格,你可以在網上看教程去學習相關知識。 要解釋什麼是REST,你應該先了解什麼是API(

原创 巧用Anaconda Navigator創建虛擬環境

利用Anaconda3的來創建虛擬環境 Linux: 先安裝虛擬環境,從官網下載,解壓到桌面,運行安裝 ./Anaconda3-5.0.1-Linux-x86_64 激活一下環境配置,個人理解 source ~/.bashrc 切

原创 Numpy

import numpy as np 爲提高運算效率,ndarray數組值的類型默認相同,創建時自動指定默認數據類型(內存佔用最大的值類型) 默認浮點類型(float) numpy方法 解釋 np.dtype 指定

原创 MarkDown語法

點贊 收藏 分享 文章舉報 陌路風流 發佈了33 篇原創文章 · 獲贊 28 · 訪問量 6萬+ 私信 關注

原创 網站逆向分析js之RSA算法原理

傳統密碼無論加密解密都用了一個密碼 rsa非對稱性加密由一對密鑰組成,配對使用 public key(代號’e’),公鑰,專門用來加密,可以由多人掌管 private key(代號’d’),私鑰,專門用來解密,由主人自己進行保管

原创 關於request、response轉發與重定向的簡述

在做頁面的請求與響應的時候我們多用request與response進行操作,而我們大家也知道,request是表示用戶發向服務器的請求,而response是對用戶請求的一個響應。      關於轉發和重定向,通俗的講轉發就像是你向售後技術

原创 安裝mysql和win系統上安裝Navicat Premium 12

1.安裝mysql sudo apt-get install mysql-server 2.安裝navic premium 12 破解來自吾愛破解網,作者jixun66,再次表示感謝,傳送門 3.終端輸入 sudo vim /etc

原创 Matplotlib

Matplotlib是最流行的Python底層繪圖庫,主要做數據可視化圖表 導包: import matplotlib.pylot as plt ………….繪圖庫 import numpy as np ………………………n

原创 安裝Scala語言和Spark

安裝scala 2.11.6 解壓tar xvf scala-2.11.6.tgz 遷移目錄 sudo mv scala-2.11.6 /usr/local/scala 修改環境變量 sudo gedit ~/.bashrc

原创 Pysprak

pyspark --master local[N] local[N]代表在本地終端運行, 同時使用N個線程, N儘量使用機器CPU核心數量 方法 說明 sc.master 查看運行線程的數量 sc.textFile

原创 hadoop

Hadoop搭建 更換系統源 解決virtualbox安裝增強包失敗 解決VirtualBox VT-x is not available Java命令 查看當前java版本 java -version 安裝默認java jdk

原创 Python庫-Twilio 語音交互

pip install twilio 註冊第一步 先創建賬戶, 登錄進去 驗證手機, 點擊右上角, 個人設置, Phone Number 創建項目, sms或voice都可以 獲取一個手機號 Calls——Geo Permission