原创 基於django開發下載excel文件的接口
有需求需要將數據以excel形式輸出，基本思路如下： 定義Excel工作本對象 => 查詢數據 => 寫入工作本對象 => 轉換爲二進制流返回 遇到的問題是如何在不將文件落盤的情況下，轉爲二進制流輸出。 查找了一些資料，對比使用
2020-06-26 19:12:19
2
原创 使用python&pandas讀取hive數據
0 引子 最近需要在python服務端實現讀取hive數據的功能，本以爲會比較容易實現，結果因爲需要同時支持在Linux（部署）和windowns（開發）上運行，稍微費了一番功夫查詢和嘗試。 1 支持hive的第三方包 在網上稍微
2020-06-26 19:12:19
3
原创 使用信用卡數據開發信貸評分卡
import pandas as pd import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.model_selec
2020-06-26 19:12:16
1
原创 使用pyspark SQL處理MySQL中的數據
目錄pyspark連接mysqlpyspark SQL常用語法輸出schema預覽表統計數量輸出列名稱和字段類型選擇列爲選擇的列賦予新名稱按條件過濾構造新列增加行刪除重複記錄刪除列刪除缺失值行填充缺失值分組統計和計算函數計算描述性
2020-06-26 19:12:15
原创 Ubuntu中Matplotlib繪圖的中文亂碼
問題引入 在Ubuntu系統中使用Matplotlib繪圖，如若沒有進行相關配置可能會遇到中文亂碼問題。 使用以下代碼作圖。 import matplotlib matplotlib.use('Agg') import matpl
2020-06-26 19:12:15
63
原创 基於pyspark創建DataFrame的幾種方法
基於pyspark創建DataFrame的幾種方法pyspark創建DataFrameRDD和DataFrame使用二元組創建DataFrame使用鍵值對創建DataFrame使用rdd創建DataFrame基於rdd和ROW創建
2020-06-26 19:12:15
原创 使用python讀取neo4j中的數據
目前有需求需要對neo4j中的數據進行分析（一般是讀到內存後跑腳本或者使用spark跑分佈式），這裏介紹一種較爲簡單和通用的方法。 定義Cypher語句 我們先寫兩個查詢Cypher語句，目的是把我們要讀取的數據的字段挑選出來。
2020-06-26 19:12:15
26
原创 《動手學深度學習》卷積神經網絡LeNet
使用全連接層的侷限性： 圖像在同一列鄰近的像素在這個向量中可能相距較遠。它們構成的模式可能難以被模型識別。 對於大尺寸的輸入圖像，使用全連接層容易導致模型過大。 使用卷積層的優勢： 卷積層保留輸入形狀。 卷積層通過滑動窗口將同一卷
2020-06-26 19:12:15
原创 《動手學深度學習》循環神經網絡
pytorch版循環神經網絡實現 import torch import torch.nn as nn import time import math import sys def load_data_jay_lyrics()
2020-06-26 19:12:15
原创 《動手學深度學習》學習pytorch之線性迴歸
本節主要講解如下幾點： pytorch的基本使用 從零實現線性迴歸模型 – 模型 – 損失函數 – 優化函數（隨機梯度下降） 線性迴歸模型基於pytorch的簡潔實現 pytorch相關的幾個問題 pytorch的基本使用 創
2020-06-26 19:12:15
原创 《動手學深度學習》多層感知機
隱藏層 多層感知機含有一個隱藏層， 以下是一種含單隱藏層的多層感知機的設計，其輸出O∈Rn×q\boldsymbol{O} \in \mathbb{R}^{n \times q}O∈Rn×q的公式爲： H=XWh+bh,O=HWo
2020-06-26 19:12:15
原创 使用阿里雲docker容器鏡像服務託管、自動構建鏡像
使用阿里雲docker容器鏡像服務託管、自動構建鏡像0 引入1 創建倉庫2 遠程構建2.1 手動構建2.2 自動構建3 本地操作3.1 登錄3.2 拉取3.3 推送3.4 使用場景4 觸發器5 版本信息5.1 掃描安全漏洞5.2
2020-06-16 09:47:47
原创 使用Python創建websocket服務和客戶端請求
1 WebSocket是啥 本段來自 菜鳥教程-WebSocket。 WebSocket 和HTTP一樣，也是一種通訊協議，允許服務端主動向客戶端推送數據。 在 WebSocket API 中，瀏覽器和服務器只需要完成一次握手，兩
2020-06-06 12:34:14
原创 常用工作資源加速方法：Linux鏡像/pip/docker/npm&yarn等
Linux鏡像加速、pip加速、docker加速1 Linux鏡像加速1.1 Ubuntu 16.041.2 CentOS72 pip加速2.1 Linux&Mac2.2 windowns3 docker加速UbuntuCento
2020-06-06 12:34:14
原创 Jupyter Notebook二次開發的經驗（一）——安裝開發版本
搭建開發環境 安裝Node.js和npm 參考：https://www.runoob.com/nodejs/nodejs-install-setup.html 安裝Notebook-dev 使用Python虛擬環境或者默認環境
2020-06-06 12:34:14
3