原创 Python簡單Web開發
WSGI介紹 HTTP協議和HTML的介紹不在這裏說明，可以去看廖雪峯老師的教程瞭解這方面內容。 一個web應用的本質是： 瀏覽器發送一個HTTP請求 服務器收到請求，生成一個HTML文檔 服務器把HTML文檔作爲HTTP響應的
2020-07-07 17:51:52
原创 python繼承（super()、多繼承、鑽石繼承）
python繼承簡介 Java只支持單繼承多接口模式。Python支持多繼承模式。 在多繼承模式中有個難題就是鑽石繼承也叫做菱形繼承。 下圖就是鑽石繼承的例子。 一般來說，Leaf類初始化時會初始化Medium1類和Medium2
2020-06-19 01:42:02
2
原创 MapReduce Tutorial 思考總結
文章目錄Prerequisites(前置條件)Overview(概覽)Inputs and Outputs(輸入和輸出)MapReduce - User Interfaces(MR的用戶接口)MapperHow Many Maps
2020-06-19 00:02:04
原创 HIVE學習二：hive on tez
文章目錄環境介紹下載、安裝、配置TEZ測試hive on tez參考網址 環境介紹 組件 版本 hadoop 2.6.5 hive 2.3.6 tez 0.8.5 tez對hadoop版本是有要求的。te
2020-06-19 00:02:04
3
原创 pycharm配置flake8語法插件和autopep8代碼規範插件
文章目錄安裝flake8和autopep8pycharm配置flake8pycharm配置autopep8問題 安裝flake8和autopep8 flake8是python語法靜態檢查器。 autopep8是python代碼規範
2020-06-19 00:02:02
2
原创 python基礎（數據類型、函數、模塊與包、高級特性）
文章目錄python簡介查看python版本python註釋python解釋器使用IPythonpython基礎python變量類型python字符串與編碼python空值Nonepython變量命名規則變量使用和類型轉換輸入和輸
2020-06-19 00:02:02
原创 python中的 錯誤處理、調試和測試
文章目錄錯誤處理調試print斷言assertloggingpdbIDE單元測試setUp與tearDown單元測試小結文檔測試參考網址 錯誤處理 和Java類似，Python提供了一套錯誤處理機制，語法是 try...excep
2020-06-19 00:02:02
原创 psutil模塊學習--進程和系統監控工具
文章目錄介紹簡單使用進階和參考網址 介紹 我們可以通過top、free、iostat、ps等命令獲取服務器的內存、CPU、網絡、進程等信息。Python可以通過使用subprocess模塊去執行命令獲取這些信息，不過需要寫額外的解
2020-06-14 18:31:31
原创 requests模塊學習(比urllib更簡單易用的HTTP庫)
文章目錄requests介紹簡單使用requests的例子基於百度翻譯API獲取翻譯結果會話處理和cookie處理參考網址 requests介紹 我們已經學過Python內置的urllib模塊，也能訪問網頁，但是用起來比較麻煩。然
2020-06-14 18:31:31
原创 Python常用內建模塊(內含實例)
文章目錄datetime獲取當前日期和時間獲取指定日期和時間datetime轉化爲timestamptimestamp轉化爲datetimestr轉化爲datetimedatetime轉化爲strdatetime加減collect
2020-06-02 04:39:40
原创 Pillow模塊學習
文章目錄Pillow介紹pillow的簡單使用生成驗證碼pillow進階參考網址 Pillow介紹 PIL：Python Imaging Library，已經是Python平臺事實上的圖像處理標準庫了。PIL功能非常強大，但API
2020-06-02 04:39:40
原创 python虛擬環境virtualenv安裝使用
文章目錄virtualenv介紹windows安裝pycharm創建項目指定虛擬環境Linux安裝Python3的安裝創建Python2的虛擬環境創建Python3的虛擬環境virtualenv原理參考網址 virtualenv介
2020-06-02 04:39:40
原创 虛擬機安裝、hadoop集羣安裝
文章目錄安裝虛擬機CentOS7配置網絡設置hostname配置/etc/hosts文件關閉防火牆永久禁用selinux配置本地yum源配置免密登錄配置JDK簡單的集羣操作腳本安裝hadoop集羣測試hdfs和yarn 安裝虛擬機
2020-03-25 13:47:50
原创 Spark --如何合理地設置executor-memory、executor-cores、num-executors
文章目錄參數介紹以下4點建議需要牢記配置參數方法一：Tiny executors（One Executor per core）方法二：Fat executors (One Executor per node)方法三：Balance
2020-03-17 02:42:57
原创 HIVE學習五：自定義函數UDF、transform腳本和lateral view
文章目錄自定義函數UDFtransform腳本lateral viewMultiple Lateral Views一個包容萬象的小例子參考網址 自定義函數UDF 雖然hive已經提供了足夠多的內置函數供我們使用，但是有時候需要自己
2020-03-15 03:52:11