原创 keras非Sequential模型的保存加載再訓練和預測
import tensorflow as tf from tensorflow import keras from tensorflow.keras import * from tensorflow.keras.layers im
2020-06-23 21:31:19
2
原创 本地圖片轉在線url，flask搭建在線服務器
網上沒找到自動轉的api接口，可以考慮自己搭建一個，不過需要自己有公網的服務器纔行，不然就只能再內容本地測試用 搭建非常簡單： import requests from flask import Flask,render_tem
2020-06-21 03:43:38
2
原创 pyspark steaming 連接kafka數據實時處理(也可以對接flume+kafka+spark)
需要下載對應 spark-streaming-kafka-0-8-assembly jar包（版本要對於） 下載地址： https://mvnrepository.com/artifact/org.apache.spark/spa
2020-06-21 02:34:41
原创 pyspark sql dataframe與pandas dataframe簡單操作
1、pandas dataframe 參考notebook： https://nbviewer.jupyter.org/github/lonngxiang/spark_sql_exmple/blob/master/log_pand
2020-06-21 02:34:41
原创 flume日誌採集及斷點去重模塊(mac\linux安裝)
mac安裝直接：brew install flume 官網文檔參考：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html flume模塊agent主要
2020-06-21 02:34:41
1
原创 flask 釘釘機器人自動推送預警信息
項目注意是兩部分，一部分是flask創建一個在線實時監聽接口接收預警信息，另一部分是通過釘釘api及時發送羣預警信息 #首先需要在釘釘羣自定義創建一個機器人，獲取簽名信息；參考官方文檔：https://ding-doc.dingt
2020-06-21 02:34:41
原创 pyspark sql數據寫入es kibana展示
需要下載es-spark jar包（都是下載es對應版本的包）：https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-20_2.11/7.
2020-06-21 02:34:41
原创 pyspark sql常規語句及操作
參考：https://zhuanlan.zhihu.com/p/94375087 http://spark.apache.org/docs/latest/api/python/pyspark.sql.html 處理結構化數據，編程
2020-06-21 02:34:41
原创 mac安裝sqoop及簡單語法
安裝： brew install sqoop cd /usr/local/Cellar/sqoop/1.4.7/libexec/conf cp sqoop-env-template.sh sqoop-env.sh vim sqo
2020-06-21 02:34:41
原创 基於內容的電影推薦系統-tdidf doc2vec文本相似推薦及熱評分榜、cf模型推薦
首先使用的數據是movielens（用的是10m大小的這份，用戶100萬數據打分）：http://files.grouplens.org/datasets/movielens/ml-10m-README.html 1、關於電影ho
2020-06-21 02:34:41
原创 python 程序設計解耦及包模塊之前的導入、項目目錄
1、程序中，低耦合，高內聚—是指模塊之間低耦合、模塊內部高內聚。這個軟件系統的進化過程是由程序員參與的過程，以追求軟件系統的可重用和易維護—也是追求消耗最小的能量。 2、各包模塊導入 a、同級目錄： mycompany ├─ m
2020-06-21 02:34:41
1
原创 rdkit 安裝使用
使用教程參考： https://sites.google.com/view/ml-basics/dealing-with-molecules 1、安裝需要創立單獨的python虛擬環境，前提需要提前安裝好conda，可以後續方便j
2020-06-21 02:34:41
原创 moviepy簡單安裝使用
建議安裝1.0.0版本，高版本保存視頻有時會沒有聲音和會報stdout錯誤 參考：https://www.zhihu.com/question/268046380/answer/720751739 安裝moviepy同時也需要安裝
2020-06-21 02:34:41
原创 mac kafka安裝簡單使用
參考： https://www.jianshu.com/p/aca69eca282e https://www.cnblogs.com/ultimateWorld/p/11120803.html 直接安裝：brew install
2020-06-21 02:34:41
原创 sh腳本書寫和後臺運行，查看JAVA_HOME路徑
參考： https://blog.csdn.net/sdb5858874/article/details/80522129 https://blog.csdn.net/ruiyelp/article/details/8018424
2020-06-21 02:34:41