原创 MySQL -- 事務鎖 Lock wait timeout exceeded

問題現象 測試ddos持續攻擊,防護程序頻繁讀寫數據庫,mysql處理報錯。同時進行接口調用,接口響應時間較長,耗時幾十秒才返回錯誤提示,兩者錯誤日誌均爲 Error 1205: Lock wait timeout exceeded; t

原创 Kafka -- 環境搭建Linux(單機模式) 及 常用命令

依賴 JDK8 Zookeeper   自行安裝JDK,不再贅述, Kafka安裝包自帶Zookeeper Kafka下載 wget wget http://archive.apache.org/dist/kafka/10.2.1/ka

原创 Redis 開啓多個實例

背景 多個項目應用部署在通一臺服務器上,同時使用一臺redis,且項目中redis數據不共享。一般來說不同的項目用不同的redis實例會比較好,以免有的操作影響到其它的項目。 方法 複製多一份redis.conf,修改默認端口爲63xx,

原创 Redis-配置及性能查看

背景 在未全面的瞭解redis配置之前,單純的使用redis就可以達到我的代碼實現目的,但是不能很全面的去掌握它。爲了更深入的理解並使用redis, 學習redis配置必不可少。 redis.conf 位置 使用 whereis 命令,查

原创 SSH連接VitualBox虛擬機Ubuntu16.04

windows10使用VitualBox安裝Ubuntu16.04虛擬機,在win10上通過ssh連接虛擬機。 1. 虛擬機網絡設置爲橋接模式    2. 開啓SSH服務 sudo ps -e | grep ssh    如果沒有上圖的

原创 併發編程--多進程編程

概述 在現代操作系統當中,我們可以很方便的編寫出多進程程序。在多進程程序中,如果多個進程之間需要協作完成任務,那麼進程間通信的方式就是需要重點考慮的事項之一。這種通信通常被叫做IPC(Inter-Process Communication

原创 併發編程--綜述

概述 併發編程:是一種現代計算機編程技術。可以是多進程編程、多線程編程、還可以是編寫分佈式程序。 主要思想 併發這個概念由來已久,其主要思想是:使多個任務可以在同一時間段內執行,以便能夠更快地得到結果。 併發編程的思想來源於多任務操作系統

原创 VirtualBox:unable to access “VBox_GAS_6.8.XXX

win10 安裝 vitualbox虛擬機ubuntu16.04,出現下列問題: 使用VirtualBox安裝完ubuntu-16.04-desktop並啓動,然後點擊“安裝增強功能”,安裝完畢後,會發現mount了一個VBox_GAS_

原创 MySQL--數據導出與導入

MySQL--數據導出與導入 當我們需要將數據庫數據導出存儲到文本文檔,或則從文本文檔導入數據時,用下面語句比較方便: select into outfile load data infile SELECT INTO OUTFILE語

原创 Apache Beam -- 編程指南

指南 Beam Programming Guide適用於希望使用Beam SDK創建數據處理流水線的Beam用戶。 它爲使用Beam SDK類構建和測試管道提供了指導。 它不是一個詳盡的參考,而是作爲一種語言無關的高級指南,以編程方式構建

原创 Apache Beam -- 簡介

概述 在大數據的浪潮之下,技術的更新迭代十分頻繁。受技術開源的影響,大數據開發者提供了十分豐富的工具。但也因爲如此,增加了開發者選擇合適工具的難度。在大數據處理一些問題的時候,往往使用的技術是多樣化的。這完全取決於業務需求,比如進行批處理

原创 Go語言--空結構體struct{}解析

簡介 有c/c++學習經歷的會發現go的struct語法和c/c++很類型,但是golang的struct{}很有意思。 做控制而非數據信息: chan struct{} 實現set: map[string]struct{} 解析 結構體

原创 Linux--Shell腳本編程詳解

Shell簡介 什麼是Shell,Shell命令的兩種執行方式? Shell本身是一個用C語言編寫的程序,它是用戶使用Unix/Linux的橋樑,用戶的大部分工作都是通過Shell完成的。Shell既是一種命令語言,又是一種程序設計語言。

原创 Linux--Shell腳本逐行讀文本處理並curl發送post請求json格式等問題

問題:Shell腳本逐行讀取文本,字符串分割,Curl發送Post請求Json格式等相關問題 在linux中使用curl發送一個post請求時,帶有json的數據,在發送時發現json中的變量沒有解析出來: curl -d '{"Pin

原创 MySQL數據庫--數據庫複製

爲了方便快速複製一個數據庫,可以用以下命令: 注意:區分以下sql語句與shell命令 將tp數據庫的數據以及表結構複製到w_tp數據庫。 創建新的數據庫: mysql> create database w_tp; 複製數據庫,使用m