原创 linux IO 內核參數調優 之 參數調節和場景分析

本文轉自  http://backend.blog.163.com/blog/static/2022941262013112081215609/請尊重原作者知識產權!1. pdflush刷新髒數據條件(linux IO 內核參數調優 之

原创 64位Linux編譯cximage手記

     CxImage類是一個優秀的圖像操作類庫。它可以快捷地存取、顯示、轉換各種圖像。相比於OpenIL,FreeImage,PaintLib等其他圖像處理庫,CxImage類庫是完全免費、開源的。另外這是一個典型的MFC風格C++類

原创 Linux內存管理

本文轉自: http://www.kerneltravel.net/journal/v/mem.htm  摘要:本章首先以應用程序開發者的角度審視Linux的進程內存管理,在此基礎上逐步深入到內核中討論系統物理內存管理和內核內存的

原创 文件系統緩存dirty_ratio與dirty_background_ratio兩個參數區別

本文轉自  http://blog.sina.com.cn/s/blog_448574810101k1va.html 請尊重原作者知識產權! 這兩天在調優數據庫性能的過程中需要降低操作系統文件Cache對數據庫性能的影響,故

原创 關於Linux系統緩存的一些測試

LRU緩存回收策略的驗證 環境信息: 準備工作: 操作步驟: 第一組測試 測試數據: 第二組測試 結論 /proc/sys/vm/drop_caches取值1和2的區別 測試驗證 準備條件 操作步驟 總結

原创 librdkafka 配置相關源碼閱讀筆記

概述 librdkafka 是kafka官方推薦的C客戶端庫,提供生產者API、低級和高級消費者API。根據librdkafka提供的文檔介紹,其性能也是蠻不錯的。近期因項目需要,簡單閱讀了librdkafka-0.11.1.x版本to

原创 CSV格式特殊字符轉義處理

CSV是逗號分隔值(comama separated value)的縮寫,也有一說是字符分隔值。因爲分隔符也可以是其他字符。 當csv某個字段中包含換行(CRLF)、雙引號、逗號(分隔符)時,整個字段必須用雙引號括起來。例如:

原创 5分鐘理解數據庫全景圖(SQL,NoSQL,NewSQL,OLAP,OLTP)

關係型數據庫(RDBMS,即SQL數據庫) NoSQL NewSQL 爲什麼需要NewSQL NewSQL定義 NewSQL設計架構 代表產品 OLTP和OLAP OLTP OLAP 關係型數據庫(RDBMS,即SQL數

原创 使用librdkafka高級消費者接口退出時rd_kafka_destroy卡住問題

近期在使用librdkafka消費者接口時遇到一個問題:當消息消費完成或用戶主動退出時經常卡住,gdb attach上去看了一下是調用rd_kafka_destroy時一直阻塞: 剩餘3個線程,其中兩個在pthread_join,另一

原创 gpfdist可讀外部表協議介紹

HTTP Header 介紹 X-GP-SN X-GP-PROTO X-GP-CSVOPT 可讀外部表如何工作 可讀外部表GUC gp_external_max_segs readable_external_table_timeo

原创 gpfdist可寫外部表協議介紹

介紹 HTTP Header X-GP-SEQ X-GP-DONE HTTP請求類型 初始化請求 數據請求 Teardown 請求 可寫外部表工作原理 可寫外部表GUC Writable_external_table_bufs

原创 【好文收藏】基於OpenStack和Kubernetes構建組合雲平臺——網絡集成方案綜述

轉自: http://geek.csdn.net/news/detail/104150 一談到雲計算,大家都會自然想到三種雲服務的模型:基礎設施即服務(IaaS),平臺即服務(PaaS)和軟件即服務(SaaS)。OpenStack已

原创 使用linux-fincore查看Linux系統緩存哪些文件

概述 linux-fincore 包含linux-fincore,linux-fincore,linux-fincore 三個工具。其中linux-fincore可以用來查看cache中有哪些文件。 編譯安裝 該工具最初發佈於g

原创 使用tcpdump+Wireshark抓包分析kafka通信協議

tcpdump 是Linux平臺上網絡抓包、分析神器,wireshark可用在Windows上以可視化方式直接分析查看tcpdump抓取的數據文件。且wireshark內置支持很多常見應用協議解析,其中就包括kafka通信

原创 Linux網絡IO並行化技術概覽

轉自:http://codinginet.com/articles/view/201605-linux_net_parallel 過去的十年中互聯網經歷了爆發式的增長,這背後有什麼技術平臺起了最爲關鍵的作用,我認爲是Linux,即使