原创 mac 截圖工具| Snipaste

之前一直都是使用mac自帶的截圖工具或快捷鍵,使用及其不便利。 mac 自帶截圖 截圖工具:在 其他中找到 圖像捕捉 快捷鍵:shift - command - s snipaste使用 在https://www.snipaste

原创 Axure |導航條的實現

實現導航條使用Axure RP 9 製作導航條功能參照物Axure中的操作新建page頁面製作頁面和導航頁設置交互名稱左側導航條與內容綁定將導航條轉爲動態面板發佈,看效果 使用Axure RP 9 製作導航條功能 疫情期間,學學A

原创 python | subprocess調度shell命令

subprocess調度shell命令 內容:1、介紹subprocess包的使用;2、舉幾個例子

原创 【轉載】Hive中的全排序:order by,sort by, distribute by

參考源 1、https://www.cnblogs.com/xuelisheng/p/11364456.html 2、http://www.imooc.com/article/42981?block_id=tuijian_wz 寫

原创 技能篇目錄:用python+sql提高工作效率

熟練使用python和sql提高工作效率pythonhive-sqlshell綜合篇 python 數據類操作包 pandas numpy scikit-learn 工具類包 argparse

原创 pandas(待完善) | to_csv中文亂碼

起因 今天在處理工作時,需要將結果從hive讀出,並保存爲csv格式,然後下載。可以下載後用excel打開發現出現亂碼,非我想要的。 解決方案 參考了https://blog.csdn.net/zhuzuwei/article/d

原创 hive 數據操作

本地文件寫入hive表,hive表數據導出到本地文件數據導入導出數據導入到hive表中從hive表get到服務器目錄下 數據導入導出 日常工作中,經常涉及到將本地文件寫入hive表,已供查詢計算,或將hive表的數據導出爲本地文件

原创 知識圖譜 | Neo4j初相識

初衷 爲什麼要了解知識圖譜、neo4j呢?前幾天在會議上,領導說接下來我們部分將重點發力知識圖譜的工作,解決業務域的問題,讓每位同事都去了解下,等過段時間要做彙報工作,每位講講自己的學習心得,算是輸出。 今天的博客,將以mac爲例

原创 python 一套完整的調度方案

總結工作中使用到的調度方案 包括的內容如下: 1、定時調度 使用python 腳本、airflow 調度平臺 腳本參數設置 subprocess、command等執行shell nohup後臺執行 airflow 2、

原创 python | 工作筆記 | pandas 常用總結

之前使用pandas處理數據使用的少,最近在實習中經常用到,故自以爲把心得總結一番。 說明:有部分是網上查到的案例,覺得很實用,就把它搬過來了。 DataFrame的列名 concat拼接 merge 兩個dataf

原创 圖像數據增強

來源github一個庫:https://github.com/mdbloice/Augmentor

原创 python 執行shell的常見方式

python中調用shell執行命令常用的執行shell方式 常用的執行shell方式 在工作中經常要採用shell方式來調度腳本,定時執行任務。比如,使用python+sql來調度腳本。下面來介紹一些常見的方式,以供使用。 1、

原创 hive 修改表結構

hive表結構修改本期介紹hive中關於表結構的修改修改表名修改字段調整字段的位置增刪字段綜合操作 本期介紹hive中關於表結構的修改 在工作中,有時候會遇到老表的數據已經不能支持新的業務需求,若是重新創建一個表來承載,稍微麻煩,

原创 總結sanic博客

使用sanic-openapi 博客計劃 1、閱讀sanic的源碼和案例,已經做註解 https://github.com/huge-success/sanic 2、使用sanic-openapi優化api界面 https://g

原创 json介紹

json格式python操作json 格式 字典類型 { "你好":"大家好" } 列表 { "你好": [ 12, 324, 54, 656,