原创 Spark之join、leftOuterJoin、rightOuterJoin及fullOuterJoin 的用法以及之間的區別
Spark的join與mysql的join類似，mysql的join是將表與表之間連接查詢，spark中join是將RDD數據集進行連接，Spark主要有join、leftOuterJoin、rightOuterJoin及fullOute
2019-07-30 08:51:10
原创 python下的Pandas中DataFrame基本操作，基本函數整理
簡介 pandas作者Wes McKinney 在【PYTHON FOR DATA ANALYSIS】中對pandas的方方面面都有了一個權威簡明的入門級的介紹，但在實際使用過程中，我發現書中的內容還只是冰山一角。談到pandas數據的行
2019-06-14 20:33:26
3
原创 Spark學習筆記--超全,所有知識點全覆蓋總結
Spark架構，運行原理，任務調度和資源調度分析，內存管理分析，SparkSQL，SparkSreaming與kafaka，數據傾斜的解決，調優。 Spark簡介 Spark是美國加州大學伯克利分校的AMP實驗室（主要創始人lester
2019-06-14 20:33:26
20
原创 將本地代碼上傳github完整流程
建立本地倉庫 1.首先進入目標文件夾 cd 目標文件夾/ 2.執行指令：git init 執行git init 初始化成功後你會發現項目裏多了一個隱藏文件夾.git 隱藏的文件夾 3.執行指令：git add . 將所有文件添加到
2019-06-14 20:33:26
2
原创 Linux下使用wc命令快速統計所有文件的行數
語法：wc [選項] 文件… 說明：該命令統計給定文件中的字節數、字數、行數。如果沒有給出文件名，則從標準輸入讀取。wc同時也給出所有指定文件的總統計數。字是由空格字符區分開的最大字符串。 該命令各選項含義如下： - c 統計字節數。
2019-06-14 20:33:26
原创 Python生成器最簡單解釋
# 本文利用一個標準的生產消費模型,解釋了一個最基本的生成器模型. # coding=utf-8 import time def consumer(): abc = None while True: i
2019-06-11 23:27:30
原创 Python格式化字符串f-string f"{}{}{}"詳細介紹
簡介 f-string，亦稱爲格式化字符串常量（formatted string literals），是Python3.6新引入的一種字符串格式化方法，該方法源於PEP 498 – Literal String Interpolation
2019-04-26 23:58:57
2
原创 linux下的find文件查找命令與grep文件內容查找命令 二者詳細區別
在使用linux時，經常需要進行文件查找。其中查找的命令主要有find和grep。兩個命令是有區別的。 區別：(1)find命令是根據文件的屬性進行查找，如文件名，文件大小，所有者，所屬組，是否爲空，訪問時間，修改時間等。
2019-04-25 23:48:39
原创 PyCharm破解 Idea破解 GoLand破解JetBrains全系列產品 永久破解
有效期到2099年12月31日，適用於JetBrains的所有開發工具（如：IDEA、webstorm、phpstorm、pycharm等等） 下面以Pycharm爲例： 第一步：下載補丁文件 第二步：將下載好的補丁放在 軟件的安裝目錄
2019-04-24 23:21:20
7
原创 ubuntu系統中修改hosts配置
最近在使用ubuntu開發,難免需要配置hosts，下面介紹以下使用命令進行配置的操作流程。 ubuntu下配置host的方法：打開終端輸入命令： sudo vim /etc/hosts， 在vim中進入插入模式(需要點擊i
2019-04-24 23:21:20
原创 git 常用命令 使用流程 git commit,git status
上傳代碼步驟： git status git add . git commit -m “ti jiao dai ma”，如果是多行log，則爲如下命令： git commit -m 'ti jiao dai ma 注意多行時對應的是單
2019-04-19 09:35:39
原创 pandas to_dict 的用法 讀取excel時轉置每一行爲一個dict對象
簡介：pandas 中的to_dict 可以對DataFrame類型的數據進行轉換 可以選擇六種的轉換類型，分別對應於參數 ‘dict’, ‘list’, ‘series’, ‘split’, ‘records’, ‘index’，下面
2019-04-16 10:51:01
19
原创 ubuntu下解壓rar文件
安裝 ubuntu 下rar解壓工具安裝方法： 壓縮功能 sudo apt-get install rar 解壓功能 sudo apt-get install unrar 使用 可以直接在UI界面使用了 rar x test.rar
2019-04-16 10:51:01
原创 Python將excel文件從xls轉換爲xlsx
本文使用場景：將一個xls格式Excel文件轉換爲xlsx文件格式。接下來將一步一步演示該操作。你也可以對代碼進行修改使其適用於你所需的場景。 安裝Python3 首先需要安裝Python，我這裏安裝的是Python3.6.4（注意：
2019-04-13 10:08:06
原创 Python之xlsx文件與csv文件相互轉換 使用xlrd pands xlwt等庫
Python之xlsx文件與csv文件相互轉換 在Python中，可以使用xlrd和csv模塊來處理Excel文件和csv文件。 xlsx文件轉csv文件 import xlrd import csv def xlsx_to_csv(
2019-04-12 10:03:34
3