原创 modCount:Java集合實現快速失敗機制的計數器

快速失敗機制,是Java集合框架中的一種錯誤檢測機制。多線程下遍歷一個非線程安全的集合對象時,如果一個線程在遍歷過程中,另一個線程對集合對象的內容進行了修改(增加、刪除),則會拋出ConcurrentModificationExc

原创 Docker筆記:安裝及入門使用

Docker是一個能把開發的應用程序自動部署到容器的開源引擎。它在虛擬化的環境中增加了一個應用程序部署引擎,提供一個輕量、快速的環境,讓開發者高效的將程序部署到各種環境。Docker是一個C/S架構的程序,提供一個命令行工具doc

原创 Dockerfile build鏡像的構建環境(build Context)

文章目錄環境簡介執行構建理解docker build 的工作原理最佳實踐 通過dockerfile定義文件和docker build命令構建,是推薦使用的鏡像構建方式。通常在執行docker build的命令時,最後會加上".",

原创 基於zookeeper的統一命名服務及實現

在分佈式調度系統中可以使用zookeeper實現統一命名服務,以獲得類似於UUID的全局唯一名稱。 藉助ZNODE順序節點的特性,本文通過創建臨時順序節點來獲得統一命名。使用zookeeper創建順序節點時,成功創建的每個節點都會

原创 storm基本概念

Storm是一個免費的開源的分佈式實時計算平臺,基於Storm的有向無環拓撲可以輕鬆的處理數據流。有關Storm的基本概念可以參考文獻[1],此處只給出簡單的介紹。 元組(Tuple) Storm處理消息的基本單元,是一個命名

原创 SpringBoot多數據源配置

本文介紹springboot結合jpa,在需要多個數據源,多個數據庫時,應該怎樣配置等。 使用mysql存儲,使用基於Hibernate的JPA,在下文的demo中兩個數據庫test,它有一張User表; 另一個庫prod,它有一

原创 Storm入門-storm的安裝

本文介紹linux環境下storm運行環境的搭建。由於條件有限,安裝的storm運行在單機模式下,即主從節點都在同一臺機器上,zookeeper也在同一臺機器上。 環境: OS:Red Hat Enterprise Linux

原创 storm示例之trident

storm在0.7中引入了事務型拓撲,以滿足對消息處理有着極其嚴格要求的場景,例如某些應用於某些統計場景,當然要求統計量必須是完全精確的,不能多也不能少。你可以聯想數據庫的事務特性ACID來加深對事務型拓撲的理解。在storm的0

原创 Linux下使用CURL模擬用戶提交post表單

本文介紹在Linux下使用CURL命令提交post請求,在需要手動重複提交post表單時,使用本文介紹的方法可以達到事半功倍的效果。 事情是這樣的:在只能藉助以下的運維界面的情況下,要通過此界面提供的入口查找一批關鍵詞。 關鍵詞

原创 從 MongoDB 及 Mysql 談B/B+樹(轉載)

本文轉自http://blog.csdn.net/wwh578867817/article/details/50493940 前兩天有位朋

原创 librdkafka問題小記

librdkafka問題小紀 本文介紹在使用kafka的C++客戶端librdkafka時遇到的一些問題及解決方法。 1.生產者報“消息尺寸太大導致生成失敗”,類似錯誤如下: Produce failed: Broker: Me

原创 Linux環境下獲取當前主機的IP/MAC等信息(C/C++)

本文介紹在unix環境下獲取當前主機IP,MAC地址等網絡接口信息。在不確定設備網卡類型的情況下,通過預先定義幾種可能的網卡類型,然後依次遍歷可能的設備如eth0,eth1,藉助ioctl函數獲取主機的全部網絡接口信息。 ioct

原创 storm入門--storm的第一個示例

本文介紹在eclipse下開發storm的第一個示例。本文的示例基於storm提供的example中的ExclamationTopology,位於(examples/storm-starter/src/jvm/org/apache

原创 使用hash法高效替換多個字符

在項目中經常要遇到要對字符串中的特殊的字符進行替換,例如字符串中如果多了個回車鍵、換行符或是製表符,那麼將該string寫成行表形式的數據時,該行數據將不能滿足需求。而如果替換過程中,不注意算法的設計,替換的時間複雜度將很高。本文

原创 使用Hadoop的C API操作HDFS

本文介紹使用Hadoop的C API訪問HDFS,實現hdfs文件的讀寫,目錄的讀取等操作。文章使用的hadoop爲單節點僞集羣,安裝方式及相關的配置說明參見前序文章http://blog.csdn.net/cjf_wei/art