原创 快樂的抓取彈幕

發現了一個特別快樂的包, 據說支持各大直播網站的彈幕抓取(親測鬥魚有效) """ @author xiaofei @date 2019-05-22 @desc 抓取彈幕 """ from danmu import Dan

2019-06-10 17:15:52

原创 使用vue-element-admin框架調用後端接口及跨域問題

前言 vue-element-admin 官方git地址 https://github.com/PanJiaChen/vue-element-admin 進行開發需要調用外部接口, 而且還涉及到跨域的問題, 百度出來的全部都是說

2019-06-10 17:15:52

原创 kibana日誌成圖

前言 既然已經搭了es和kibana, 那肯定要做一下kibana的圖表, 看日誌超級方便的, 首先寫個腳本生成一點測試數據 生成測試數據 """ @author xiaofei @date 2019-05-20 @desc

2019-05-21 16:06:33

原创 python 隨機獲取UA(User-Agent)

之前發現了一個特別好用的獲取UA的方法, 在這記錄下 from faker import Factory f = Factory.create() ua = f.user_agent() 這樣就可以隨機獲取ua了, 測試了一下

2019-05-21 16:06:33

原创 pandas把數據存入mysql

前言 主要是因爲懶得寫insert語句, 所以打算用pandas存數據, 比較方便, 下面時測試成功腳本, 使用自拿 """ @author xiaofei @date 2019-05-13 @desc 測試pandas存入m

2019-05-14 00:56:10

原创 linux 安裝Elasticsearchhe和kibana以及啓動遇到的錯誤解決(已成功運行)

linux安裝es和kibana 參考博文 https://blog.csdn.net/han12398766/article/details/88373869 啓動報錯1 Exception elasticsearch.keyst

2019-05-02 09:52:29 78

原创 服務器重啓後 Host key verification failed

服務器重啓後報錯, 主機祕鑰驗證失敗, 下面時解決辦法 這樣就可以重新連接了, 然後再把自己的祕鑰加上就行了

2019-05-01 19:57:17

原创 go time常用方法

前言 最近開發項目經常用到go的time包, 照python的略微麻煩一些, 特別是那個layout被無數人吐槽(包括我), 這裏整理了一些常用的方法, 有需要的可以瞭解一下 package main import ( "time

2019-04-17 15:55:18

原创 深度掌握Redis：5 大難題解決方案+單線程優劣勢+高併發快原因

這大概是最詳細的一篇關於Redis文章了，分享給熱愛鑽研技術的童鞋們~ 轉載 https://studygolang.com/topics/8514 一、Redis雪崩、穿透、併發等5大難題解決方案 緩存雪崩 數據未加

2019-03-27 15:57:47 1

原创 'dict' object has no attribute '_txn_read_preference' && Sort exceeded memory limit of 10485760

前言 今天遇到了mongo 的一條語句兩個問題, 在這裏分享一下留個記錄 問題一 Sort exceeded memory limit of 104857600 bytes, but did not opt in to externa

2019-03-26 15:57:20 34

原创 Go的併發無法執行的坑

前言 Go 語言本身支持併發, 只需要通過 Go來啓動goroutine就可以了, 語法格式也很簡單, 就直接在調用方法前加上go 關鍵字就可以了, 例如 go hello(x) 遇到的問題 Go 允許使用go 語句開啓一個

2019-03-15 22:26:18 14

原创 Grpc初體驗

Grpc初體驗 前言 因爲最近工作涉及到了grpc, 但是不是很瞭解這個框架, 所以就看了一手 grpc官方文檔, 克隆下來代碼簡單的瞭解一下 概念 定義一個服務， 指定其可以被遠程調用的方法及其參數和返回類型。gRPC 默認使用 p

2019-03-14 21:32:24

原创 使用mongo聚合分組查詢獲取每一組的時間最大的一條數據

mongo聚合 使用mongo的.aggregate方法, 類似一個聚合流水線的一個過程, 可以理解爲文檔經過多次管道階段最後生成的結果, 可以直接看mongo aggregate官方文檔 的一張圖 將整體文檔經過多次管道最後生成想要

2019-03-14 15:22:02 4

原创 pandas用法總結

轉載 https://blog.csdn.net/yiyele/article/details/80605909 在後面加了自己比較常用的一些方法代碼 一、生成數據表 1、首先導入pandas庫，一般都會用到numpy庫，所以我們

2019-01-25 22:23:58

原创 redis 哈希查詢關鍵字的隊列

redis 在哈希裏面查詢帶關鍵字的小key hscan 問題 比如說我現在有一個哈希隊列, 做的是 用戶id+行爲編號: 時間 的一個緩存(隨意舉得例子,不要介意), 現在有一個用戶註銷了, 我現在需要把這個用戶的所有信息緩存全

2018-12-25 22:29:54