原创 MySQL和PostgreSQL設計規範
MySQL&PostgreSQL設計規範 1. 設計工具 使用Navicat Data Modeler進行數據庫設計,使用*.ndml文件交流設計細節,不允許直接操作數據庫進行修改 修改數據庫一定要同步更新本地的.ndml文件,避
原创 微服務後端接口開發及返回值規範札記
API設計規範 1. 原則 原則是規範的基本設計思路, 在規範中無法找到相應的設計細節時,則應該按照設計的初衷,思路或者原則來判斷應該如何進行設計 接口應該儘量的少, 後端接口不應該因前端的簡單格式調整或者查詢字段的多少
原创 IntelliJ Idea遠程調試容器中的應用
背景 項目開發中需要利用 Spring Cloud Feign調用另一個微服務提供的接口,而所有微服務均部署在docker容器中,傳統Idea本地調試方法無法進行有效調用,因此需要特殊配置實現部署環境的遠程調試,該方法也適
原创 okhttp3之java.net.SocketTimeoutException: timeout 異常處理
背景介紹 項目中開啓線程池下載圖片,okhttp報錯如下: 一直沿用以前開發的工具類(將okhttp客戶端封裝成了單例模式),之前開發的項目涉及到的網絡請求未出現過類似異常,而這次由於圖片下載量大,線程數量多,造
原创 項目構建打包與容器部署
構建打包結構與部署方案.md project-name-version-[debug|release].tar.gz #解壓到當前文件夾 tar zxvf project-name-version-[debug|release]
原创 線上CPU100%,頻繁FullGC排查套路筆記
背景介紹 對於線上系統突然產生的運行緩慢問題,如果該問題導致線上系統不可用,那麼首先需要做的就是,導出 jstack 和內存信息,然後重啓系統,儘快保證系統的可用性。 這種情況可能的原因主要有兩種: 代碼中某個位置讀取數據量較大
原创 百度地圖街景圖片爬取
1 需求 抓取整個杭州市的百度/騰訊街景地圖及其時光機功能(實時圖片和歷史圖片),進行圖像分析。 2 分析 百度地圖街景模式下,點擊向前可發現,街景圖片是異步加載的,我們可以打開百度地圖的街景模式,f1
原创 MIT Place Pulse數據集及google街景圖片爬取
1、項目背景 1.1 使用谷歌街景圖片的必要性 MIT Place Pulse 數據集可直接下載,但沒有提供街景圖片本身,只提供了街景的座標,需通過谷歌街景開放API 獲取對應的街景圖片。 MIT Place Pulse數據集中
原创 web開發功能設計札記
0. 前端設計檢查原則 【優先參考】阿里巴巴antd規範 持續維護 【備用參考】 內部設計規範 https://design.d.com 針對內部場景優化, 標註細緻,但停止維護,在阿里規範未盡解釋方面可參考此規範 邊界檢查
原创 MySQL優化相關總結
前言 1.1 b+樹介紹 B+樹是B-樹的變體,也是一種多路搜索樹,其定義基本與B-樹同,除了: 非葉子結點的子樹指針與關鍵字個數相同; 非葉子結點的子樹指針P[i],指向關鍵字值屬於[K[i], K[i+1])的
原创 mybatis多表關聯查詢及高級映射
轉自:https://blog.csdn.net/hefenglian/article/details/80699723 訂單商品數據模型 1.1 數據模型分析思路 1、每張表記錄的數據內容 2、每張表重要的字段設置(
原创 Docker、Git、 Linux常用命令總結
1、Linux 1.1、查看某個進程 ps aux # 查看所有進程 用BSD的格式來顯示進程信息 可顯示進程佔用的CPU、內存的百分比 ps -ef # 查看所有進程 用標準的格式顯示進程信息 可顯示父進程
原创 TCP/IP粘包拆包現象及netty解決方案
1、問題背景 傳輸層除了有TCP協議外還有UDP協議。 首先,UDP不會發生粘包或拆包現象。因爲UDP是基於報文發送的,從UDP的幀結構可以看出,在UDP首部採用了16bit來指示UDP數據報文的長度,因此在應
原创 基於webmagic框架的多主題爬蟲關鍵詞切換
1、背景介紹 多主題爬蟲中,我們一般先分析網站的url特點(重點是列表頁),再根據項目需求預先設定好關鍵詞,對待爬取url,或者稱爲種子url進行精準控制。 1.1、分析一 帶關鍵詞的url場景有很多,如網
原创 Druid與Dbutils集成實現查詢結果集封裝
1、前言 DBUtils是apache下的一個小巧的JDBC輕量級封裝的工具包,其最核心的特性是 結果集的封裝 ,可以直接將查詢出來的結果集封裝成JavaBean,這就爲我們做了最枯燥乏味、最容易出錯的一大部分工作。