Python 計算生態概覽

---

Python 計算生態概覽

Python 計算程序設計思維

• 計算思維：抽象計算過程和自動化執行
• 計算生態：競爭發展、相互依存、快速更迭
• 用戶體驗：進度展示、異常處理等
• IPO、自頂向下、模塊化、配置化、應用開發的四個步驟

Python 計算生態概覽

• 從數據處理到人工智能
• 從Web解析到網絡空間
• 從人機交互到藝術設計

---

從數據處理到人工智能

數據表示->數據清洗->數據統計->數據可視化->數據挖掘->人工智能

• 數據表示：採用合適方式用程序表達數據
• 數據清理：數據歸一化、數據轉換、異常值處理
• 數據統計：數據的概要理解，數量、分佈、中位數等
• 數據可視化：直觀展示數據內涵的方式
• 數據挖掘：從數據分析獲得知識，產生數據外的價值
• 人工智能：數據/語言/圖像/視覺等方面深度分析與決策

主要庫：

• Python庫之數據分析
• Python庫之數據可視化
• Python庫之文本處理
• Python庫之機器學習

---

Python庫之數據分析

Numpy: 表達N維數組的最基礎庫

• Python接口使用， C語言實現，計算速度優異
• Python數據分析及科學計算的基礎庫，支撐Pandas等
• 提供直接的矩陣運算、廣播函數、線性代數等功能

實例：
Numpy: 表達N維數組的最基礎庫

官網：http://www.numpy.org

Pandas: Python數據分析高層次應用庫

• 提供了簡單易用的數據結構和數據分析工具
• 理解數據類型與索引的關係，操作索引即操作數據
• Python最主要的數據分析功能庫，基於Numpy開發

實例：
Pandas: Python數據分析高層次應用庫

• Series = 索引 + 一維數據
• DataFrame = 行列索引 + 二維數據

官網：www.pandas.pydata.org

SciPy: 數學、科學和工程計算功能庫

• 提供了一批數學算法及工程數據運算功能
• 類似Matlab，可用於如傅里葉變換、信號處理等應用
• Python最主要的科學計算功能庫，基於Numpy開發

實例：
SciPy: 數學、科學和工程相關功能庫

官網：www.scipy.org

---

Python庫之數據可視化

Matplotlib: 高質量的二維數據可視化功能庫

• 提供了超過100種數據可視化展示效果
• 通過matplotlib.pyplot子庫調用各可視化效果
• Python最主要的數據可視化功能庫，基於Numpy開發

官網：http://matplotlib.org

Seaborn: 統計類數據可視化功能庫

• 提供了一批高層次的統計類數據可視化展示效果
• 主要展示數據間分佈、分類和線性關係等內容
• 基於Matplotlib開發，支持Numpy和Pandas

實例：
Seaborn: 統計類數據可視化功能庫

官網：http://seaborn.pydata.org

Mayavi：三維科學數據可視化功能庫

• 提供了一批簡單易用的3D科學計算數據可視化展示效果
• 目前版本是Mayavi2，三維可視化最主要的第三方庫
• 支持Numpy、 TVTK、 Traits、 Envisage等第三方庫

實例：

Mayavi：三維科學數據可視化功能庫

官網：http://docs.enthought.com/mayavi/mayavi/

---

Python庫之文本處理

PyPDF2： 用來處理pdf文件的工具集

• 提供了一批處理PDF文件的計算功能
• 支持獲取信息、分隔/整合文件、加密解密等
• 完全Python語言實現，不需要額外依賴，功能穩定

實例：
兩個PDF整合

from PyPDF2 import PdfFileReader, PdfFileMerger
merger = PdfFileMerger()
input1 = open("document1.pdf",
"rb")
input2 = open("document2.pdf",
"rb")
merger.append(fileobj = input1, pages = (0,3))
merger.merge(position = 2, fileobj = input2, pages = (0,1))
output = open("document-output.pdf",
"wb")
merger.write(output)

官網：http://mstamy2.github.io/PyPDF2/

NLTK： 自然語言文本處理第三方庫

• 提供了一批簡單易用的自然語言文本處理功能
• 支持語言文本分類、標記、語法句法、語義分析等
• 最優秀的Python自然語言處理庫

實例：

NLTK： 自然語言文本處理第三方庫

from nltk.corpus import treebank
t = treebank.parsed_sents('wsj_0001.mrg')[0]
t.draw()

官網：http://www.nltk.org/

Python-docx： 創建或更新Microsoft Word文件的第三方庫

• 提供創建或更新.doc .docx等文件的計算功能
• 增加並配置段落、圖片、表格、文字等，功能全面

實例：
Python-docx： 創建或更新Microsoft Word文件的第三方庫

from docx import Document
document = Document()
document.add_heading('Document Title', 0)
p = document.add_paragraph('A plain paragraph having some ')
document.add_page_break()
document.save('demo.docx')

官網：https://python-docx.readthedocs.io/en/latest/index.html

---

Python庫之機器學習

Scikit-learn： 機器學習方法工具集

• 提供一批統一化的機器學習方法功能接口
• 提供聚類、分類、迴歸、強化學習等計算功能
• 機器學習最基本且最優秀的Python第三方庫

實例：
Scikit-learn：與數據處理相關的第三方庫

官網：http://scijit-learn.org

TensorFlow： AlphaGo背後的機器學習計算框架

• 谷歌公司推動的開源機器學習框架
• 將數據流圖作爲基礎，圖節點代表運算，邊代表張量
• 應用機器學習方法的一種方式，支撐谷歌人工智能應用

官網：https://www.tensorflow.org

MXNet：基於神經網絡的深度學習計算框架

• 提供可擴展的神經網絡及深度學習計算功能
• 可用於自動駕駛、機器翻譯、語音識別等衆多領域
• Python最重要的深度學習計算框架

實例：

MXNet：基於神經網絡的深度學習計算框架

官網：https://mxnet.incubator.apache.org/

---

從Web解析到網絡空間

• Python庫之網絡爬蟲
• Python庫之Web信息提取
• Python庫之Web網站開發
• Python庫之網絡應用開發

---

Python庫之網絡爬蟲

Requests: 最友好的網絡爬蟲功能庫

• 提供了簡單易用的類HTTP協議網絡爬蟲功能
• 支持連接池、 SSL、 Cookies、 HTTP(S)代理等
• Python最主要的頁面級網絡爬蟲功能庫

實例：

import requests
r = requests.get('https://api.github.com/user'
,auth=('user', 'pass'))
r.status_code
r.headers['content-type']
r.encoding
r.text

官網：https://requests.readthedocs.io/en/master/

Scrapy: 優秀的網絡爬蟲框架

• 提供了構建網絡爬蟲系統的框架功能，功能半成品
• 支持批量和定時網頁爬取、提供數據處理流程等
• Python最主要且最專業的網絡爬蟲框架

官網：https://scrapy.org/

pyspider: 強大的Web頁面爬取系統

• 提供了完整的網頁爬取系統構建功能
• 支持數據庫後端、消息隊列、優先級、分佈式架構等
• Python重要的網絡爬蟲類第三方庫

官網：http://docs.pyspider.org/en/latest/

---

Python庫之Web信息提取

Beautiful Soup: HTML和XML的解析庫

• 提供瞭解析HTML和XML等Web信息的功能
• 又名beautifulsoup4或bs4，可以加載多種解析引擎
• 常與網絡爬蟲庫搭配使用，如Scrapy、 requests等

實例：

Beautiful Soup: HTML和XML的解析庫

官網：https://www.crummy.com/software/BeautifulSoup/

Re: 正則表達式解析和處理功能庫

• 提供了定義和解析正則表達式的一批通用功能
• 可用於各類場景，包括定點的Web信息提取
• Python最主要的標準庫之一，無需安裝

官網：https://docs.python.org/3.6/library/re.html

Python-Goose: 提取文章類型Web頁面的功能庫

• 提供了對Web頁面中文章信息/視頻等元數據的提取功能
• 針對特定類型Web頁面，應用覆蓋面較廣
• Python最主要的Web信息提取庫

官網：https://github.com/grangier/python-goose

---

Python庫之Web網站開發

Django: 最流行的Web應用框架

• 提供了構建Web系統的基本應用框架
• MTV模式：模型(model)、模板(Template)、視圖(Views)
• Python最重要的Web應用框架，略微複雜的應用框架

官網：https://www.djangoproject.com/

Pyramid: 規模適中的Web應用框架

• 提供了簡單方便構建Web系統的應用框架
• 不大不小， 規模適中，適合快速構建並適度擴展類應用
• Python產品級Web應用框架，起步簡單可擴展性好

官網：https://trypyramid.com/

Flask: Web應用開發微框架

• 提供了最簡單構建Web系統的應用框架
• 特點是：簡單、規模小、快速
• Django > Pyramid > Flask

官網：https://dormousehole.readthedocs.io/en/latest/

官網：https://flask.palletsprojects.com/en/1.1.x/

---

Python庫之網絡應用開發

WeRoBot: 微信公衆號開發框架

• 提供瞭解析微信服務器消息及反饋消息的功能
• 建立微信機器人的重要技術手段

官網：https://github.com/offu/WeRoBot

aip: 百度AI開放平臺接口

• 提供了訪問百度AI服務的Python功能接口
• 語音、人臉、 OCR、 NLP、知識圖譜、圖像搜索等領域
• Python百度AI應用的最主要方式

官網：https://github.com/Baidu-AIP/python-sdk

MyQR: 二維碼生成第三方庫

• 提供了生成二維碼的系列功能
• 基本二維碼、藝術二維碼和動態二維碼

官網：https://github.com/sylnsfar/qrcode

---

從人機交互到藝術設計

• Python庫之圖形用戶界面
• Python庫之遊戲開發
• Python庫之虛擬現實
• Python庫之圖形藝術

---

Python庫之圖形用戶界面

PyQt5: Qt開發框架的Python接口

• 提供了創建Qt5程序的Python API接口
• Qt是非常成熟的跨平臺桌面應用開發系統，完備GUI
• 推薦的Python GUI開發第三方庫

官網：https://www.riverbankcomputing.com/software/pyqt

wxPython: 跨平臺GUI開發框架

• 提供了專用於Python的跨平臺GUI開發框架
• 理解數據類型與索引的關係，操作索引即操作數據
• Python最主要的數據分析功能庫，基於Numpy開發

官網：https://www.wxpython.org/

PyGObject: 使用GTK+開發GUI的功能庫

• 提供了整合GTK+、 WebKitGTK+等庫的功能
• GTK+：跨平臺的一種用戶圖形界面GUI框架
• 實例： Anaconda採用該庫構建GUI

官網：https://pygobject.readthedocs.io/en/latest/

---

Python庫之遊戲開發

PyGame: 簡單的遊戲開發功能庫

• 提供了基於SDL的簡單遊戲開發功能及實現引擎
• 理解遊戲對外部輸入的響應機制及角色構建和交互機制
• Python遊戲入門最主要的第三方庫

官網：https://www.pygame.org/news

Panda3D: 開源、跨平臺的3D渲染和遊戲開發庫

• 一個3D遊戲引擎，提供Python和C++兩種接口
• 支持很多先進特性：法線貼圖、光澤貼圖、卡通渲染等
• 由迪士尼和卡尼基梅隆大學共同開發

官網：https://www.panda3d.org/

cocos2d: 構建2D遊戲和圖形界面交互式應用的框架

• 提供了基於OpenGL的遊戲開發圖形渲染功能
• 支持GPU加速， 採用樹形結構分層管理遊戲對象類型
• 適用於2D專業級遊戲開發

官網：http://python.cocos2d.org/

---

Python庫之虛擬現實

VR Zero: 在樹莓派上開發VR應用的Python庫

• 提供大量與VR開發相關的功能
• 針對樹莓派的VR開發庫，支持設備小型化，配置簡單化
• 非常適合初學者實踐VR開發及應用

官網：https://github.com/WayneKeenan/python-vrzero

pyovr: Oculus Rift的Python開發接口

• 針對Oculus VR設備的Python開發庫
• 基於成熟的VR設備，提供全套文檔，工業級應用設備
• Python+虛擬現實領域探索的一種思路

官網：https://github.com/cmbruns/pyovr

Vizard: 基於Python的通用VR開發引擎

• 專業的企業級虛擬現實開發引擎
• 提供詳細的官方文檔
• 支持多種主流的VR硬件設備，具有一定通用性

官網：http://www.worldviz.com/vizard-virtual-reality-software

---

Python庫之圖形藝術

Quads: 迭代的藝術

• 對圖片進行四分迭代，形成像素風
• 可以生成動圖或靜圖圖像
• 簡單易用，具有很高展示度

官網：https://github.com/fogleman/Quads

ascii_art: ASCII藝術庫

• 將普通圖片轉爲ASCII藝術風格
• 輸出可以是純文本或彩色文本
• 可採用圖片格式輸出

官網：https://github.com/jontonsoup4/ascii_art

turtle: 海龜繪圖體系

• 龜圖形是一種向孩子介紹編程的流行方式。它是Wally Feurzeig，Seymour Papert和Cynthia Solomon在1967年開發的原始徽標編程語言的一部分。

官網：https://docs.python.org/3/library/turtle.html

---

Python庫整理

從數據分析到人工智能

• 數據處理： Numpy、 Pandas、 SciPy
• 數據可視化： Matplotlib、 Seaborn、 Mayavi
• 文本：PyPDF2、 NLTK、 python-docx
• 人工智能：Scikit-learn、 TensorFlow、 MXNet

從Web解析到網絡空間

• 爬蟲： Requests、 Scrapy、 pyspider
• 信息解析：Beautiful Soup、 Re、 Python-Goose
• 網站開發：Django、 Pyramid、 Flask
• 網絡應用開發： WeRobot、 aip、 MyQR

從人機交互到藝術設計

• 開發用戶界面： PyQt5、 wxPython、 PyGObject
• 開發遊戲： PyGame、 Panda3D、 cocos2d
• 虛擬現實：VR Zero、 pyovr、 Vizard
• 藝術設計：Quads、 ascii_art、 turtle

查看更多：http://www.coffeecode.codes/

---