原创 python發送正文帶統計表格的郵件
python調用outlook發郵件，郵件帶表格 pandas處理數據得到表格 利用pandas處理數據得到統計表格 spark = SparkSession.builder.appName('bianzu').getOrCrea
2020-05-19 01:47:18
原创 pyspark 讀取和處理csv文件
pyspark讀取csv文件 方式一：SparkSession # 讀取csv文件 spark=SparkSession.builder.appName('bianzu').getOrCreate() sqlContext = S
2020-05-16 19:14:28
原创 django3——啓動django項目
django3——啓動django項目 命令行啓動 python manage.py runserver 創建項目 manage.py:與項目進行交互的命令行工具集的接口，項目管理器 settings.py:項目的總配置文
2020-05-16 19:14:28
原创 python把小數轉化爲百分數
python把小數轉化爲百分數` 把小數轉化爲百分數,並保留2位小數 “%.2f%%” %(palo_success_rate*100) #"--------------python把小數轉化爲百分數---------------
2020-05-16 19:14:28
原创 hive 創建和修改表
創建表 CREATE TABLE info(`id` int COMMENT '', `parseday` string COMMENT '', `parsedate` string COMMENT '', `createtime
2020-05-04 20:20:14
原创 Pandas數據處理—清理、轉換、合併、重塑
Pandas數據處理 pandas對象中的數據可以通過一些內置的方式進行合併： pandas.merge可根據一個或多個鍵將不同DataFrame中的行連接起來。 pandas.concat可以沿着一條軸將多個對象堆疊到一起。 默
2020-05-03 05:55:36
原创 Pandas數據處理—Series、DataFrame對象索引
Pandas數據處理 保留索引 NumPy的通用函數（三角函數、指數函數、對數函數等）是適用於Pandas的Series和DataFrame對象。當在兩個Series或DataFrame對象上進行二元計算時，Pandas會在計算過
2020-05-03 05:55:36
原创 pandas數據處理—Series、DataFrame對象
pandas數據處理——Series、DataFrame對象 Pandas的Series對象 創建Series對象 pd.Series(data,index=index) index是一個可選參數，data參數支持多種數據類型，
2020-05-03 05:55:36
原创 pyspark讀寫mysql數據庫
pyspark讀寫mysql數據庫 from pyspark.sql import SparkSession # 導入類型 from pyspark.sql.types import StructType, StructField
2020-04-27 22:27:44
1
原创 python實現時間加減
datetime 當前時間 import datetime # 當前日期時間 now=datetime.datetime.now() print(now) print(type(now)) #<type 'datetime.dat
2020-04-27 22:27:44
原创 pyspark之DataFrame操作大全
Spark SQL中的DataFrame類似於一張關係型數據表。在關係型數據庫中對單表或進行的查詢操作，在DataFrame中都可以通過調用其API接口來實現。 DataFrame().columns from pyspark.s
2020-04-27 22:27:44
原创 hive刪除數據
hive刪除數據 刪除指定分片不符合條件的數據 只會保留日期爲’2020-04-24 11:39:46’的數據 insert overwrite table dw.lens.lens_bianzu_info_status part
2020-04-25 22:24:19
原创 pyspark讀取mysql、sqlserver數據庫數據，pymysql往mysql數據庫中寫入數據
pyspark讀取mysql、sqlserver數據庫數據 pymysql往mysql數據庫中寫入數據 示例代碼一 import datetime import pymysql #連接sqlserver數據庫獲取數據 url='
2020-04-25 22:24:19
原创 spark任務提交模式
Spark基本概念 1. Application：表示應用程序 2. Driver：表示main()函數，創建SparkContext，由SparkContext負責與ClusterManager通信，進行資源的申請，任務的分配和
2020-04-19 12:41:23