原创 基於docker創建apline版本jupyter-server及應用
話不多說，上dockerfile from alpine RUN echo "http://mirrors.aliyun.com/alpine/v3.9/main/" > /etc/apk/repositories RUN ap
2020-07-02 09:20:58
原创 基於CDH6.2kylin2.6.2安裝部署
kylin安裝前提是CDH6.2需要正常安裝，hbase、hive、hdfs、spark(雖然官網是說spark可選安裝，但是在kylin啓動腳本中包含對spark環境的檢測，所以建議CDH添加spark服務)需要正常啓動，且沒有報錯信息
2020-07-02 09:20:58
原创 協同過濾算法始末記錄
測試環境： mysql 5.7.25 python 3.6.5 本機 內存16G 一 、原始數據準備 1.sql準備抽樣測試 原始數據（txt格式）因數據量巨大（單日10G），不適合於算法初期階段。故將數據進行抽樣獲取
2020-07-02 09:20:58
原创 hive筆記----函數、練習等
hive特有數據類型 array數組 創建表 create table t_movie (movie string,actor array<STRING>,first_show_date string) ROW FORMAT DE
2020-07-02 09:20:58
原创 千萬不要被pyquery的方便所矇蔽了雙眼-----新坑
pyquery竟然無法像jquery一樣很方便的去篩選dom節點。 經過一番排查發現：對於class類名，pyquery依然可以方便的獲取節點，但是當使用如：a，div，img...等原生標籤時，無論如何都獲取不到節點。 其實問題就
2020-07-02 09:20:58
原创 pywifi的簡單使用和測試破解方法
import pywifi from pywifi import const def gic(): wifi = pywifi.PyWiFi() ifaces = wifi.interfaces()[0] pr
2020-07-02 09:20:58
原创 centos7.5 yum部署docker 進行分佈式scrapy框架爬蟲
一、環境安裝配置 安裝centos7.5鏡像 官網下載。https://www.centos.org/download/ 配置網絡保證yum正常 安裝依賴包yum-utils、 device-mapper-persistent-data
2020-07-02 09:20:58
原创 Bootstrap-fileinput插件處理詳情過程
fileinput插件處理詳情過程： 跨域刪除問題 使用springBoot框架添加註解@CrossOrigin 多文件刪除相關回調方法 格式如下 }).on('xxx', function(event, id, index
2020-07-02 09:20:58
原创 如何實現快速將多個csv文件轉爲excel文件
如何實現快速將多個csv文件轉爲excel文件 最近在公司上班遇到了20多個csv文件對比，如此棘手的工作，難不成要打開20個excel去看麼，不可能。悄悄寫了點python代碼，emmmmm 上代碼 import os,csv
2019-08-17 12:52:28
7
原创 vscode——無敵裝B插件
auto close tag HTML自動補全標籤 beautiful UI 32個主題集合，具體使用看個人喜好。 better comments 通過使用警報、信息、待辦事項等註釋來改進代碼註釋！ brack
2019-06-21 12:55:27
13
原创 vscode ----無敵裝B神器
auto close tag beautiful UI better comments bracket pair colorizer2 chinese code spell checker color info debug
2019-06-13 13:05:33
1
原创 基於CDH5.7kylin安裝部署
1.安裝 yum -y install net-tools chmod +s /bin/netstat 2. 修改etc/hosts 註釋127.0.0.1 3.修改kylin爲777權限
2019-04-27 12:56:58
原创 Hive脫坑之路----------錯誤修改筆記
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception
2019-04-10 12:52:39
28
原创 Superset 安裝使用及問題的排查處理
Superset是由Airbnb（知名在線房屋短租公司）開源BI數據分析與可視化平臺（曾用名Caravel、Panoramix），該工具主要特點是可自助分析、自定義儀表盤、分析結果可視化（導出）、用戶/角色權限控制，還集成了一個SQL編輯
2019-03-29 12:52:28
15
原创 centos7.5 yum部署docker 進行分佈式爬蟲
一、環境安裝配置 安裝centos7.5鏡像 官網下載。https://www.centos.org/download/ 配置網絡保證yum正常 安裝依賴包yum-utils、 device-mapper-persistent-data
2018-12-26 03:10:14