原创 淘寶Tair分佈式緩存系統 總體結構分析
簡介 tair 是淘寶自己開發的一個分佈式 key/value 存儲引擎. tair 分爲持久化和非持久化兩種使用方式. 非持久化的 tair 可以看成是一個分佈式緩存. 持久化的 tair 將數據存放於磁盤中. 爲了解決磁盤損壞導
原创 Lucene實現自定義分詞器(同義詞查詢與高亮)
今天我們實現一個簡單的分詞器,僅僅做演示使用功能如下: 1、分詞按照空格、橫槓、點號進行拆分; 2、實現hi與hello的同義詞查詢功能; 3、實現hi與hello同義詞的高亮顯示; MyAnalyzer實現代碼: public clas
原创 推薦系統簡介——基於協同過濾的推薦
1、推薦系統簡介 個性化推薦是根據用戶的興趣特點和購買行爲,向用戶推薦用戶感興趣的信息和商品。 推薦系統主要處理的有兩類內容:一個是User,一個是Item。系統的目標也很明確,就是向User推薦Item。 應用了推薦
原创 TCP網絡流量回放工具TCPReplay使用說明
[摘要]: 本文總結了tcpreplay的安裝使用經驗. 我是在cygwin上試驗的.[目錄]:(Created by TxtBrowser) 1. 什麼是tcpreplay 2. 安裝指南 3. 使用指南 .
原创 分佈式搜索elasticsearch 索引文檔的檢索 入門
1、首先將如下數據提交到ES中建立索引 {"number":32768,"singer":"楊坤","size":"5109132","song":"今夜二十歲","tag":"中國好聲音","timelen":319} {"number
原创 淘寶Tair分佈式緩存系統 內部結構分析
Tair的內部結構 圖 1 Tair整體架構圖 一個Tair集羣主要包括client、configserver和dataserver 3個模塊。Configserver通過和dataserver的心跳(HeartBeat
原创 分佈式搜索elasticsearch 環境搭建
1、elasticsearch安裝 elasticsearch的安裝超級easy,解壓即用(要事先安裝好java環境)。 到官網 http://www.elasticsearch.org下載最新版的 elasticsearch 運行包;
原创 Lucene實現自定義相似度計算公式
假如我們在特殊的應用場景中,需要忽略tf、df所產生的影響,可以如下實現: 1、實現自己的相似度計算方式: public class MySimilarity extends DefaultSimilarity { @Overri
原创 elasticsearch集羣生態,分片以及水平擴展.
elasticsearch用於構建高可用和可擴展的系統。擴展的方式可以是購買更好的服務器(縱向擴展)或者購買更多的服務器(橫向擴展),Elasticsearch能從更強大的硬件中獲得更好的性能,但是縱向擴展也有一定的侷限性。真正的擴展應
原创 求有環單鏈表中的環長、環起點、鏈表長
1.判斷單鏈表是否有環 使用兩個slow, fast指針從頭開始掃描鏈表。指針slow 每次走1步,指針fast每次走2步。如果存在環,則指針slow、fast會相遇;如果不存在環,指針fast遇到NULL退出。 就是所謂
原创 使用CURL封裝HttpClient
#include <curl/curl.h> #include <string> using std::string; class HttpClient { public: static size_t WriteData(ch
原创 Redis客戶端連接方式Hiredis簡單封裝使用,連接池、屏蔽連接細節
工作需要對Hiredis進行了簡單封裝,實現功能: 1、API進行統一,對外只提供一個接口; 2、屏蔽上層應用對連接的細節處理; 3、底層採用隊列的方式保持連接池,保存連接會話; 4、重連時採用時間戳進行控制,每隔一定時間(3s)重連一次
原创 Linux系統下通過Socket文件描述符尋找連接狀態
Proc虛擬文件系統下面有許多數字命名的子目錄,這些數字表示系統當前運行的進程號; 其中/proc/N/fd目錄下面保存了打開的文件描述符,指向實際文件的一個鏈接。如下: [root@XXXXXXX_10_1_17_138 song_te
原创 推薦系統簡介——基於內容的推薦
最近閒下來又開始繼續折騰推薦系統了,聲明一下,本文只是介紹一下最基礎的基於內容的推薦系統(Content-based recommender system)的工作原理,其實基於內容的推薦系統也分三六九等Orz,這裏只是簡單的較少一下最原
原创 分佈式搜索elasticsearch 基本概念
ElasticSearch官網:http://www.elasticsearch.org/ 先上一張elasticsearch的總體框架圖: ElasticSearch是基於Lucene開發的分佈式搜索框架,包含如下特性: 分佈式索引