原创 創新實訓(21)——推薦算法的評估

前言 昨天使用Mohout推薦引擎實現了用戶的協同過濾算法,今天使用昨天實現的算法計算一下推薦的準確率以及查全率,查準率。 算法評判標準:召回率(recall)與查準率(precision) A:檢索到的,相關的 (搜到的也想

原创 創新實訓(24)——Elasticsearch—用logstash增量導入Mysql數據

前言 昨天在本地裝好了ELK的環境,今天準備將mysql的數據用logstash導入Elasticsearch,然後在springboot項目中實現博客的檢索功能。 安裝logstash-input-jdbc 要想導入Mysql的

原创 創新實訓(27)——設計有關文章推薦的Controller層的接口

前言 這部分其實很簡單,調用之前寫好的方法,返回參數就好了,最主要的還是和前端的同學進行參數的協調,已經保重接口的不出錯。 獲取熱榜列表,這個列表是根據博客系統所有文章的流行度和新鮮度給出的,相關數據被物化在了redis中

原创 創新實訓(25)——Elasticsearch學習以及與springboot的集成

Elasticsearch基本概念 1.Cluster 集羣,Node節點 Elasticsearch可以實現分佈式的搭建,可以有多個節點,我們先試用單機版的Elasticsearch進行檢索。 集羣中的每一臺服務器爲一個節點,可

原创 創新實訓(20)——基於Mohout推薦引擎的推薦算法的實現

前言 之前學習了有關java的Mohout推薦引擎,我們就可以根據它提供的類快速的進行我們的推薦算法的構建了。 導入Mahout依賴 <dependency> <groupId>org.apache.

原创 創新實訓(19)——學習Mohout推薦引擎

前言 (1)Mahout框架中cf.taste包實現了推薦算法引擎,它提供了一套完整的推薦算法工具集,同時規範了數據結構,並標準化了程序開發過程。 並且,通過使用 Apache Hadoop 庫,Mahout 可以有效地擴展到Ha

原创 創新實訓(23)——在Mac環境下搭建有關elasticsearch的環境

前言 由於我們要使用elasticsearch實現文章的檢索,所以提前安裝一些有關elasticsearch的環境 使用mac下的包管理工具HomeBrew搭建相關環境 Install ElasticSearch brew ins

原创 創新實訓(31)——有關用戶訂閱博客及標籤的接口

前言 本來沒有打算做訂閱功能,這個功能是到現在,隨着項目的逐漸進行,感覺需要訂閱的功能,所以才加上的。 首先建了訂閱表,然後實現了一些功能。 這裏將標籤的訂閱和博客的訂閱,存在了一張表中,用type區分,兒subscribed_

原创 創新實訓(28)——設計有關用戶記錄的接口設計與有關文章標籤和分類的接口設計

前言 文章板塊,除了有關推薦的接口設計,還有其他的一些邊緣的功能的接口需要設計,共同配合才能完成文章板塊 有關文章的點贊和瀏覽 本來沒有文章的點贊表,後來爲了做熱榜,在流行度和新鮮度的推薦上,加上了點贊對於評分的影響,點一

原创 創新實訓(32)——有關用戶自主提交自己博客信息的接口設計

前言 由於我們的系統是根據rss訂閱定時抽取,而用戶也有可能有自己的自建博客,所以每個用戶可以向系統提交自己的自建博客的rss鏈接,然後等待定時的抽取。 接口列表如下: 用戶提交自己的自建博客信息 Controller層:

原创 創新實訓(26)——Elasticsearch在Centos服務器上的搭建

前言 之前在本地搭建了Elasticsearch的環境,然後實現了簡單的檢索功能,之後應該把服務架設在服務器上,全網都能訪問,否則每次訪問的時候都只能使用ssh的端口轉發,所以今天想着在服務器上搭建一個Elasticsearch的

原创 創新實訓(29)——有關管理員端博客和文章信息統計的接口

前言 系統的管理員端需要對系統中一些情況,進行數據的分析,所以需要設計一些接口,爲前端繪製統計圖做準備。這部分的內容,主要沒有什麼邏輯上的難度,只是需要設計sql語句,使用sql本身的聚合功能,實現對於數據的統計,然後將數據返回前

原创 創新實訓(30)——有關管理員端博客和文章信息統計的接口(續)

前言 今天將昨天沒有完成的有關管理員端博客和文章信息的統計接口補齊 獲取文章最近七天的點贊數量 降序排序 /** * 獲取最近七天 給文章點贊最多的用戶 及點贊數量 降序排列 * @param pag

原创 創新實訓(22)——所有推薦算法的整合

前言 到目前爲止,我實現了基於流行度和新鮮度的推薦算法/基於文本相似度的推薦/用戶協同過濾推薦/分類(標籤)協同過濾推薦。我們需要將其整合到一個Util中,方便調用。 推薦算法的整合 /** * 文章推薦的接口 * 可以有很多

原创 創新實訓(33)——有關前後端交互的優化以及後端錯誤的處理

前言 今天下午克隆了一個前端項目,然後在本地運行了一下,與本地的後端接口進行了一系列的測試,發現了一些體驗不好的問題,有的地方還有一些報錯,所以集中來處理一下,提高一下用戶的體驗。 使用協同過濾算法,進行文章推薦的問題 (1)在