原创 Python使用pymysql存儲和讀取文件
不會BB，直接兩開花就好了...... #!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'yangshijin' # coding=utf-8 """ 測試代碼（
2020-02-24 02:02:44
原创 Java SE筆記
java常用關鍵字 abstract continue for new switch assert default if package synchronized boolean do goto private this break d
2020-02-24 02:02:44
原创 hive常用字符串處理函數
以下的字符串都可以用字段名錶示，順序索引，從1開始，逆序索引，從-1開始 1.字符串長度：length 語法：length(string A) 返回值：int（字符串A的長度） hive> select length('abcde') f
2020-02-24 02:02:44
原创 【集成學習】lightgbm中文文檔
lightgbm中文文檔： html:http://lightgbm.apachecn.org/cn/latest/index.html github:https://github.com/apachecn/lightgbm-doc-zh
2020-02-24 02:02:44
原创 python 判斷路徑是文件還是文件夾、判斷是否存在、獲取文件大小
判斷是文件夾還是文件 import os if os.path.isdir(path): print "it's a directory" elif os.path.isfile(path): print "it's a
2019-04-02 05:15:54
原创 hive筆記(更新)
查看文件數據 cat xxx.txt cat xxx.txt | head -n 100 # 查看前100行數據 常用設置 # 顯示當前數據庫 set hive.cli.print.current.db=true; # 修改引擎 se
2019-03-20 05:25:08
原创 python實現數據導入導出mysql
導入需要的python包 import pymysql import traceback import pandas as pd from sqlalchemy import create_engine import os import
2019-03-20 05:24:47
3
原创 多個series合併成dataframe
import pandas as pd df = pd.Dateframe(list(zip(series_1, series_2)))
2019-02-01 18:22:25
原创 mysql給表格字段設置唯一性索引
在建表時設置 CREATE TABLE 't_user' ( `Id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(18) NOT NULL unique, `password
2019-01-16 17:55:00
原创 pandas修改列名
pandas讀取數據之後經常需要修改列名，那麼該怎麼修改呢？？ import pandas as pd a = pd.DataFrame({'A':[1,2,3], 'B':[4,5,6], 'C':[7,8,9]}) 1.簡單粗暴
2019-01-12 18:02:03
原创 pandas dataframe 提取行和列
import pandas as pd data = pd.DataFrame({'a':[1,2,3],'b':[4,5,6],'c':[7,8,9]}) 提取列 單列 data['a'] 多列 data[['a', 'b']
2019-01-12 18:02:03
1
原创 python dataframe分箱操作一：cut分箱
1.等寬分箱 # ===========================方法一=============================== def binnings(data_res, b_for_filename): a =
2019-01-10 17:58:47
原创 pandas操作數據庫
使用sqlite3 # 從數據庫中讀取數據。 import sqlite3 # sqlite3連接參數指定的數據庫。如果數據庫不存在，則會創建該數據庫，然後再進行連接。 # 存在則直接進行連接。該方法返回數據庫的連接。 con = sq
2019-01-10 17:58:47
原创 python數據處理之OneHot
1.OneHot變換 import pandas as pd df1=pd.DataFrame({'key':['a','b','c'],'data1':[1,2,3]}) print(df1) df2=pd.get_dummi
2019-01-10 17:58:47
原创 pandas合併數據
1.merge pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_inde
2019-01-10 17:58:47