原创 2. dataFrame的操作
# 2.dataframe的創建，列讀取 import pandas as pd import numpy as np print(" ---------------- 1 ------------------ ") df1 =
2020-06-23 05:23:06
原创 3. sql優化update表
1.考察主要是根據一張表的字段更新另一張的字段 UPDATE gmi_message_user_his_new t1 LEFT JOIN (SELECT userId,CODE,createTime FROM gmi_consumer_i
2020-06-23 05:23:06
原创 python_anaconda安裝tensorflow （windows10環境）
已有環境：python3.6.1 anaconda隔離管理多個環境，互不影響。這裏，在anaconda中安裝最新的python3.6.5 版本。 linux環境下使用anaconda安裝tensorflow步驟見：https://blog
2020-06-23 05:23:06
原创 1.dataFrame的幾種遍歷方式
from recall import config from sklearn.model_selection import train_test_split # 1.dataframe的遍歷 import pandas as pd im
2020-06-23 05:23:06
原创 3.dataframe的lamda表達式以及函數運用
import pandas as pd # 考察padans的一些位置上的基本操作，以及lambda對於單列和多列的操作 # 1.lambda表達式 # 1.1 dataframe對【單列操作】 data['label'] = dat
2020-06-23 05:23:06
原创 2.程序sql中bug優化
考察left join和where ... and ... # 查看數據是否補全，主要查看userid = 1356823用戶 select tt1.userid,ifnull(tt3.totalSend,0) as totalSe
2020-06-23 05:23:06
原创 dataframe的set_index和reset_index
#drop的使用： import pandas as pd df = pd.DataFrame({ 'A': ['A0', 'A1', 'A2', 'A3','A4', 'A5', 'A6', 'A7','A8', 'A9', 'A10'
2020-06-23 05:23:06
原创 2.maven打包方式的不同
maven安裝命令： (1)打包snapshot和正式版本號是不一樣的，發佈到私服中的命令也不一樣，不需要snapshot方式時，各個依賴包下都需要去除 (2)打包過程中可能會遇到的編碼錯誤，可能需要設置打包時的項目編碼 (3)sprin
2020-06-23 05:23:06
原创 sklearn之XGBoost
xgboost需要理解： （1）梯度提升樹和xgboost的區別：梯度提升樹，是y^n+1 = y^n + h(x)通過前面n顆樹的結果，得出平均值；xgboost則是通過前面n棵樹y^n+1 = y^n + f(x) 的預測分數，來得到
2020-06-23 05:23:06
原创 sklearn之邏輯迴歸LR
對於線性迴歸，由於都是求線性參數；邏輯迴歸，由於其呈S型，具有在座標軸兩個左右邊進行急劇上升下降的趨近1或者0，因此具有分類特性。 決策樹是天生的過擬合，而線性迴歸是天生的欠擬合； L1範式可以完成 損失函數只針對
2020-06-23 05:23:06
原创 5.dataframe的取值的不同
# dataframe通過列表方式獲取到的是Series類型，而指明列名則不同 # 1.通過列名來取值 print(type(data['score'].iloc[1])) data['score'] = data['score'].a
2020-06-23 05:23:06
原创 5.mysql表設計
1. 訂單表和商品類，一般都要設計訂單主表，和訂單關聯的商品詳細-表，用戶詳細表 對於gmi小程序中設計到【用戶發送短信的記錄】 與 【記錄詳情表】: 結構如下： -----------------------------
2020-06-23 05:23:06
原创 4.常見的一些處理技巧(mysql/hive)
1. create table A as select * from B 2. create table A like B 4. rename table A to B (這種方式在線上系統小時級別更新替換數據時，將
2020-06-23 05:23:06
原创 4.dataframe的groupby函數使用
# 創建一個dataframe的過程 df = pd.DataFrame({"user_id": [1, 2, 3, 1, 1, 3], "item_id": [2, 2, 2, 3, 3, 3], "price": [1, 1, 1,
2020-06-23 05:23:06
原创 7.numpy的矩陣操作
# 1.準備array數組，爲構造矩陣做準備 data_mat = numpy.arange().reshape() # 2.通過數組，構造矩陣 data_mat = mat(data_mat) # 3. 獲取矩陣的行和列 shape(
2020-06-23 05:23:06