原创 解決：使用Photoswipe進行圖片展示
python 2.7 Django 1.6.1 photoswipe 前言 對於前端的照片存儲，已經在前一篇博文中進行展示，使用的是dropzone.js的包，圖片存儲的作用就是爲了數據的再調用，所以在此片進行上次圖片的前
2020-06-21 08:05:08
1
原创 解決：Dropzone.js的圖片拖拽上傳保存本地文件夾
拖拽上傳JS包：Dropzone.js 圖片展示JS包：PhotoSwipe.js Mac OS：Sierra 10.12.2 python 2.7 Django 1.6 前言 在學習前端的時候需要用到圖片拖拽上傳展
2020-06-21 07:26:48
9
原创 SparkSql中時間閾操作【窗口函數】
本文主要總結了一些sql在時間閾上的操作，包括連續消費，最長簽到，累計消費等問題，其實映射到其他業務場景也就變成了類似的計算；如遊戲領域，連續登陸時間，連續簽到時長，最大連續簽到天數等常見的業務場景；方法都是共通的，這裏就用sp
2020-06-21 07:26:37
原创 解決:crontab執行python no model name xxx問題
啓動定時：crontab -e 50 16 * * * source /etc/profile && cd /home/AA/BB && nohup python remindmail.py > remindmail.log
2020-06-21 07:26:37
原创 從作用域到閉包再到裝飾器
首先預祝抗擊在武漢肺炎第一線的兄弟姐妹們平安歸來，撐住！你們辛苦啦！沒事兒有我們共渡難關！ 寫在開頭 最近裝飾器用的比較多，由此想到了閉包，再往上就是作用域的一些陷阱問題；索性記錄一下，類似於一個散文形式的，只是對自己的一些
2020-02-20 15:26:55
原创 SparkSql 2.2.x 中 Broadcast Join的陷阱(hint不生效)
問題描述 在spark 2.2.0 的sparksql 中使用hint指定廣播表，卻無法進行指定廣播； 前期準備 hive> select * from test.tmp_demo_small; OK tmp_demo_sma
2020-02-20 15:26:55
2
原创 Git的使用總結
Python 2.7 MacOS Sierra 10.12.1 前言 實習中的第一個小分享，剛好彌補了我想學git的一些需求，主要還是公司的gitlab代碼管理相關，以後自己也可以上傳github了 git的安裝 採用
2020-02-20 15:26:55
7
原创 Spark日誌清洗一般流程
spark 1.6.1 python 2.7.11 前言 整理了一下使用spark來進行日誌清洗及數據處理的套路，這裏以pyspark爲例 pyspark的啓動任務套路 對於使用spark作爲查詢清洗工具而言，啓動sp
2020-02-20 15:26:55
原创 Python編碼規範(PEP8)及奇技淫巧(不斷更新)
Python 2.7 前言 從很多地方搬運+總結，以後根據這個標準再將python的一些奇技淫巧結合起來，寫出更pythonic的代碼~ PEP8 編碼規範 英文原版請點擊這裏 以下是@bobo的整理，原文請見PEP8 Py
2020-02-20 15:26:45
3
原创 解決:spark啓動錯誤Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apach..
MacOS：Sierra 10.12.2 Spark版本：2.1.0 今天想在本地安裝spark，結果按照步驟來竟然報錯，問題原因spark 2.1.0需要java 7+的支持，但是Mac默認的java 是1.6的，導致運行
2020-02-20 15:26:45
2
原创 解決：Ubuntu(MacOS)+phantomjs+python的部署問題
雲服務器：ESC Ubuntu 16.04 x64 PhantomJS：beta-linux-ubuntu-xenial 2.1.1 Python 2.7.12 MacOS 10.12.1 目的 租了臺服務器當計算和運
2020-02-20 15:26:45
2
原创 解決:用腳本配置crontab
目的 不想每次使用crontab -e進行配置，而是使用腳本的方法進行配置，這次使用的是直接執行python，然後進行寫入crontab中直接進行配置 方法1-終端執行 $ crontab -l > now.cron #
2020-02-20 15:26:45
原创 Echarts入門(零基礎小白教程)
前言 適合0前端基礎的小白，什麼配置啊，不會啊，我就想畫個圖先，沒問題，按照步驟做，先來實現第一個圖，之後官方教程會教會你更多的。 下載echarts 小白建議，直接下完整版，先搞清楚怎麼畫出一張圖再說點擊這裏下載Ech
2020-02-20 15:26:45
原创 解決：win遠程連接ubuntu服務器安裝jupyter，啓動pyspark
ubuntu 16.1.4 win10 x64 X-shell5 目的 win主機遠程訪問ubuntu服務器，並啓動服務器端jupyter在本地進行python和spark調試 步驟 我不做重複性工作，翻閱了很多很多
2020-02-20 15:26:45
原创 解決：在anaconda下無法使用conda安裝第三方庫問題
Anaconda2 Python 2.7.12 雲服務器：ESC Ubuntu 16.04 x64 問題 無法使用conda進行安裝第三方包 mrlevo@mrlevo-Lenovo:~$ conda install fo
2020-02-20 15:26:45