原创 MySQL和PostgreSQL設計規範

MySQL&PostgreSQL設計規範 1. 設計工具 使用Navicat Data Modeler進行數據庫設計,使用*.ndml文件交流設計細節,不允許直接操作數據庫進行修改 修改數據庫一定要同步更新本地的.ndml文件,避

原创 微服務後端接口開發及返回值規範札記

API設計規範 1. 原則     原則是規範的基本設計思路, 在規範中無法找到相應的設計細節時,則應該按照設計的初衷,思路或者原則來判斷應該如何進行設計 接口應該儘量的少, 後端接口不應該因前端的簡單格式調整或者查詢字段的多少

原创 IntelliJ Idea遠程調試容器中的應用

背景     項目開發中需要利用 Spring Cloud Feign調用另一個微服務提供的接口,而所有微服務均部署在docker容器中,傳統Idea本地調試方法無法進行有效調用,因此需要特殊配置實現部署環境的遠程調試,該方法也適

原创 okhttp3之java.net.SocketTimeoutException: timeout 異常處理

背景介紹     項目中開啓線程池下載圖片,okhttp報錯如下:     一直沿用以前開發的工具類(將okhttp客戶端封裝成了單例模式),之前開發的項目涉及到的網絡請求未出現過類似異常,而這次由於圖片下載量大,線程數量多,造

原创 項目構建打包與容器部署

構建打包結構與部署方案.md project-name-version-[debug|release].tar.gz #解壓到當前文件夾 tar zxvf project-name-version-[debug|release]

原创 線上CPU100%,頻繁FullGC排查套路筆記

背景介紹 對於線上系統突然產生的運行緩慢問題,如果該問題導致線上系統不可用,那麼首先需要做的就是,導出 jstack 和內存信息,然後重啓系統,儘快保證系統的可用性。 這種情況可能的原因主要有兩種: 代碼中某個位置讀取數據量較大

原创 百度地圖街景圖片爬取

1 需求        抓取整個杭州市的百度/騰訊街景地圖及其時光機功能(實時圖片和歷史圖片),進行圖像分析。 2 分析        百度地圖街景模式下,點擊向前可發現,街景圖片是異步加載的,我們可以打開百度地圖的街景模式,f1

原创 MIT Place Pulse數據集及google街景圖片爬取

1、項目背景 1.1 使用谷歌街景圖片的必要性 MIT Place Pulse 數據集可直接下載,但沒有提供街景圖片本身,只提供了街景的座標,需通過谷歌街景開放API 獲取對應的街景圖片。 MIT Place Pulse數據集中

原创 web開發功能設計札記

0. 前端設計檢查原則 【優先參考】阿里巴巴antd規範 持續維護 【備用參考】 內部設計規範 https://design.d.com 針對內部場景優化, 標註細緻,但停止維護,在阿里規範未盡解釋方面可參考此規範 邊界檢查

原创 MySQL優化相關總結

前言 1.1 b+樹介紹        B+樹是B-樹的變體,也是一種多路搜索樹,其定義基本與B-樹同,除了: 非葉子結點的子樹指針與關鍵字個數相同; 非葉子結點的子樹指針P[i],指向關鍵字值屬於[K[i], K[i+1])的

原创 mybatis多表關聯查詢及高級映射

轉自:https://blog.csdn.net/hefenglian/article/details/80699723 訂單商品數據模型 1.1 數據模型分析思路 1、每張表記錄的數據內容 2、每張表重要的字段設置(

原创 Docker、Git、 Linux常用命令總結

1、Linux 1.1、查看某個進程 ps aux  # 查看所有進程 用BSD的格式來顯示進程信息 可顯示進程佔用的CPU、內存的百分比 ps -ef # 查看所有進程 用標準的格式顯示進程信息 可顯示父進程

原创 TCP/IP粘包拆包現象及netty解決方案

1、問題背景        傳輸層除了有TCP協議外還有UDP協議。        首先,UDP不會發生粘包或拆包現象。因爲UDP是基於報文發送的,從UDP的幀結構可以看出,在UDP首部採用了16bit來指示UDP數據報文的長度,因此在應

原创 基於webmagic框架的多主題爬蟲關鍵詞切換

  1、背景介紹        多主題爬蟲中,我們一般先分析網站的url特點(重點是列表頁),再根據項目需求預先設定好關鍵詞,對待爬取url,或者稱爲種子url進行精準控制。 1.1、分析一        帶關鍵詞的url場景有很多,如網

原创 Druid與Dbutils集成實現查詢結果集封裝

1、前言        DBUtils是apache下的一個小巧的JDBC輕量級封裝的工具包,其最核心的特性是 結果集的封裝 ,可以直接將查詢出來的結果集封裝成JavaBean,這就爲我們做了最枯燥乏味、最容易出錯的一大部分工作。