原创 大表數據加索引,加字段
這段時間發現一個800W的用戶表 查詢非常慢,用了orderby ,排序的字段是string的，雖然也加了索引，但效果不理想。 由於之前的經驗，一張5000W的表，orderby 一個timestamp 字段，只要加了 tree
2020-06-17 10:22:35
原创 flume+kafka收集業務日誌
介紹 我們的用戶是經常在登陸，由於是涉及到設備，產品希望每個用戶一登陸，後臺系統就能感知到其變化，即實時更新， 登陸數據量是很大的，大約一天有1500W左右的數據,且比較集中在晚上.高峯時1秒鐘要處理200多個登陸請求, 負責
2020-06-17 08:40:12
原创 elastic search安裝配置與使用
有個數據庫表有點大，而且有多條件查詢，於是決定使用es來緩解查詢等需求,正好重新整理下安裝過程. 下載與安裝 需要先安裝好jdk 官網直接下載 https://www.elastic.co/guide/en/elasticsear
2020-02-21 10:23:08
原创 使用mycat分表(一致性hash)
業務介紹 我們有一個橫向分表的業務,本來是想自己搞的，但也想嘗試下一些中間件，找到了mycat先試下, 現在是2017/12 , 版本採用 mycat1.6.5 安裝及相關內容 https://github.com/MyCAT
2020-02-21 10:23:08
原创 word的宏_vba統一設置表格寬度
近來需要編輯一個文檔，其中有一個問題，就是把表格都設置爲100寬,因爲表格很多，處理很麻煩，於是就打算學下vba,把表格處理好. 把內容存下來用於後續參考。 宏的簡單操作 宏一個實用操作就是 錄用-> 執行, 比如，設置ctr
2020-02-21 10:23:08
原创 mongodb+java實現日誌的日活與月活查詢
業務介紹 前段時間有個日誌統計的需求，是規範的登陸日誌，估計一個月有幾十萬，放入hadoop太麻煩了，放數據庫又怕後續數據量增加較快，於是嘗試用mongodb來存儲，後續進行統計。 mongodb是採用3.4, 2017年12
2020-02-21 10:23:07
原创 flask的安裝與使用
說明 最近的項目需要用到flask，貌似3年前用過，不過很久沒搞了 以前java web比較熟。這裏做個簡單的入門記錄 官網: http://docs.jinkan.org/docs/flask/ 下載與安裝 pip instal
2019-09-15 18:25:04
原创 scrapy獲取數據的一些問題與解決
前言 我們採用scrapy 爬取了一些遊戲數據，這裏對遇到的一些技術問題 的解決情況 項目情況 爬蟲的邏輯是比較簡單的，有一個進程從 任務隊列中 拿到 相應的任務(一般是url),去請求，拿到html/json/…後 進行解析,解
2019-09-07 18:21:15
1
原创 美團開店的產品邏輯
近來需要 美團開店 的邏輯. 簡單描述: 1,下載手機軟件 “美團” 2,打開美團,點最下面一行的 “我的” 然後 點 “我要合作” 3,選擇綜合商家入駐 4，立即入駐 5，如果 沒登陸，就要 手機號碼註冊後登陸 6，創
2019-03-27 18:24:31
原创 利用mybatis-plus自動生成代碼
關於代碼生成器的說明 我們在開發mybatis時，涉及到xml,和bean,mapper等的書寫，copy改，花的時間多且會有Bug,考慮到這些代碼都是機械式的，用生成的方式比較靠譜 mybatis官方推薦有了相應的生成工具org.m
2019-03-16 18:23:53
23
原创 scrapy源碼分析_初始化及settings
Crawler的初始化及動作 下面是按啓動順序的邏輯, 0,關於execute動作 最先是把settings給加進來. site-packages\scrapy\cmdline.py中的 settings = get_project_
2018-12-30 13:22:21
1
原创 管理後臺(guns的獲取與修改)
背景 最近有個小項目，需要一個管理後臺，以前的由於技術層太舊了而且其它依賴比較多，不想帶過來，於是想趁着新項目，試一下一些開源的業務框架. 後臺管理系統相關介紹與guns的說明 jeecg,jeesite以前經常聽到，去下載來看了，發
2018-12-19 12:03:22
原创 docker創建image與Dockerfile一些規則
container 和 image 的關係 image 類比爲 類,container 類比爲對象 我們運行container(對象)中並去修改相應的變量等,一些操作如下: docker container ls -a 交互運行con
2018-12-10 00:05:44
1
原创 docker的安裝與使用
文檔與安裝 基本安裝 官方的文檔走就行了, 本文羅列一些簡單步驟 https://docs.docker.com/install/linux/docker-ce/ubuntu/#prerequisites 1,安裝 前如果之前有安裝
2018-12-08 00:50:17
原创 爬蟲架構簡述
項目情況 最近做了一個爬蟲系統，使用scrapy 作爲核心，用kafka作隊列，然後加上 java的消費者，還有其它周邊服務，形成一個架構，這裏進行一個簡單的整理 基礎結構 考慮到數據的擴展性和互聯網的不確認性，考慮使用 nosql來
2018-10-27 09:42:34