原创 淘寶Tair分佈式緩存系統 總體結構分析

簡介 tair 是淘寶自己開發的一個分佈式 key/value 存儲引擎. tair 分爲持久化和非持久化兩種使用方式. 非持久化的 tair 可以看成是一個分佈式緩存. 持久化的 tair 將數據存放於磁盤中. 爲了解決磁盤損壞導

原创 Lucene實現自定義分詞器(同義詞查詢與高亮)

今天我們實現一個簡單的分詞器,僅僅做演示使用功能如下: 1、分詞按照空格、橫槓、點號進行拆分; 2、實現hi與hello的同義詞查詢功能; 3、實現hi與hello同義詞的高亮顯示; MyAnalyzer實現代碼: public clas

原创 推薦系統簡介——基於協同過濾的推薦

1、推薦系統簡介   個性化推薦是根據用戶的興趣特點和購買行爲,向用戶推薦用戶感興趣的信息和商品。   推薦系統主要處理的有兩類內容:一個是User,一個是Item。系統的目標也很明確,就是向User推薦Item。   應用了推薦

原创 TCP網絡流量回放工具TCPReplay使用說明

[摘要]: 本文總結了tcpreplay的安裝使用經驗. 我是在cygwin上試驗的.[目錄]:(Created by TxtBrowser)    1. 什麼是tcpreplay    2. 安裝指南    3. 使用指南    .

原创 分佈式搜索elasticsearch 索引文檔的檢索 入門

1、首先將如下數據提交到ES中建立索引 {"number":32768,"singer":"楊坤","size":"5109132","song":"今夜二十歲","tag":"中國好聲音","timelen":319} {"number

原创 淘寶Tair分佈式緩存系統 內部結構分析

Tair的內部結構   圖 1 Tair整體架構圖 一個Tair集羣主要包括client、configserver和dataserver 3個模塊。Configserver通過和dataserver的心跳(HeartBeat

原创 分佈式搜索elasticsearch 環境搭建

1、elasticsearch安裝 elasticsearch的安裝超級easy,解壓即用(要事先安裝好java環境)。 到官網 http://www.elasticsearch.org下載最新版的 elasticsearch 運行包;

原创 Lucene實現自定義相似度計算公式

假如我們在特殊的應用場景中,需要忽略tf、df所產生的影響,可以如下實現: 1、實現自己的相似度計算方式: public class MySimilarity extends DefaultSimilarity { @Overri

原创 elasticsearch集羣生態,分片以及水平擴展.

elasticsearch用於構建高可用和可擴展的系統。擴展的方式可以是購買更好的服務器(縱向擴展)或者購買更多的服務器(橫向擴展),Elasticsearch能從更強大的硬件中獲得更好的性能,但是縱向擴展也有一定的侷限性。真正的擴展應

原创 求有環單鏈表中的環長、環起點、鏈表長

1.判斷單鏈表是否有環   使用兩個slow, fast指針從頭開始掃描鏈表。指針slow 每次走1步,指針fast每次走2步。如果存在環,則指針slow、fast會相遇;如果不存在環,指針fast遇到NULL退出。   就是所謂

原创 使用CURL封裝HttpClient

#include <curl/curl.h> #include <string> using std::string; class HttpClient { public: static size_t WriteData(ch

原创 Redis客戶端連接方式Hiredis簡單封裝使用,連接池、屏蔽連接細節

工作需要對Hiredis進行了簡單封裝,實現功能: 1、API進行統一,對外只提供一個接口; 2、屏蔽上層應用對連接的細節處理; 3、底層採用隊列的方式保持連接池,保存連接會話; 4、重連時採用時間戳進行控制,每隔一定時間(3s)重連一次

原创 Linux系統下通過Socket文件描述符尋找連接狀態

Proc虛擬文件系統下面有許多數字命名的子目錄,這些數字表示系統當前運行的進程號; 其中/proc/N/fd目錄下面保存了打開的文件描述符,指向實際文件的一個鏈接。如下: [root@XXXXXXX_10_1_17_138 song_te

原创 推薦系統簡介——基於內容的推薦

最近閒下來又開始繼續折騰推薦系統了,聲明一下,本文只是介紹一下最基礎的基於內容的推薦系統(Content-based recommender system)的工作原理,其實基於內容的推薦系統也分三六九等Orz,這裏只是簡單的較少一下最原

原创 分佈式搜索elasticsearch 基本概念

ElasticSearch官網:http://www.elasticsearch.org/ 先上一張elasticsearch的總體框架圖: ElasticSearch是基於Lucene開發的分佈式搜索框架,包含如下特性: 分佈式索引