原创 基於用戶的協同過濾推薦算法原理-附python代碼實現

  在推薦系統衆多方法中,基於用戶的協同過濾推薦算法是最早誕生的,原理也較爲簡單。該算法1992年提出並用於郵件過濾系統,兩年後1994年被 GroupLens 用於新聞過濾。一直到2000年,該算法都是推薦系統領域最著名的算法。   本

原创 對接MQ實時同步mysql數據到kudu-附案例代碼

目錄 背景簡介 需求分析 項目實現 案例實現   一:背景簡介     近幾年,隨着大數據的興起,每個公司越來越重視對數據的利用,從廣泛的定義來看,數據分爲歷史數據即離線數據和實時流數據,實時數據的處理往往比離線數據更加複雜,對機器資源的

原创 mysql和hive同步數據到kudu-附案例項目

目錄 背景簡介 需求分析 項目分析 注意事項 一:背景簡介     大家都知道mysql做隨機查詢的速度比較快,而類型於hive之類這種基於大數據背景的離線計算相對較慢,而hive比較適合於做數據分析即OLAP,mysql,hbase,o

原创 基於物品的協同過濾推薦算法原理-附python實現代碼

相關理論指導請參考《推薦系統實踐》——基於物品的協同過濾算法,根據以上思想,以電影案例,使用python實現如下: #-*- coding: utf-8 -*-   '''''  Created on 2015-06-22    @au

原创 基於關聯規則分析的推薦算法(Apriori)-附python代碼實現

關於關聯規則分析算法的規則見基於關聯規則分析的推薦算法,這裏只是基於以上理論,給出實現的代碼: #!/usr/bin/env python # coding: utf-8 # File Name: Apriori_update.py

原创 Mysql權限控制 - 允許用戶遠程連接

Mysql爲了安全性,在默認情況下用戶只允許在本地登錄,可是在有此情況下,還是需要使用用戶進行遠程連接,因此爲了使其可以遠程需要進行如下操作: 一、允許root用戶在任何地方進行遠程登錄,並具有所有庫任何操作權限, 具體操作如下: 在本機

原创 Java集合類: Set、List、Map、Queue使用場景梳理

目錄1. Java集合類基本概念 2. Java集合類架構層次關係 3. Java集合類的應用場景代碼 1. Java集合類基本概念在編程中,常常需要集中存放多個數據。從傳統意義上講,數組是我們的一個很好的選擇,前提是我們事先已經明確知道

原创 Java 中的異常總結

簡介程序運行時,發生的不被期望的事件,它阻止了程序按照程序員的預期正常執行,這就是異常。異常發生時,是任程序自生自滅,立刻退出終止,還是輸出錯誤給用戶?或者用C語言風格:用函數返回值作爲執行狀態?。Java提供了更加優秀的解決辦法:異常處

原创 java的重載、覆蓋和隱藏的區別

重載:方法名相同,但參數不同的多個同名函數。發生在子類於父類之間,是指在子類與父類之間或在同一類中定義具有相同的方法名,訪問權限等的方發。區別在於返回類型或參數列表。  注意:1.參數不同的意思是參數類型、參數個數、參數順序至少有一個不同

原创 Map Join和Reduce Join的區別以及代碼實現

MapReduce Join 對兩份數據data1和data2進行關鍵詞連接是一個很通用的問題,如果數據量比較小,可以在內存中完成連接。 如果數據量比較大,在內存進行連接操會發生OOM。mapreduce join可以用來解決大數據的連接

原创 JavaWeb實現文件上傳下載功能實例詳解

文件上傳概述1、文件上傳的作用例如網絡硬盤!就是用來上傳下載文件的。 在智聯招聘上填寫一個完整的簡歷還需要上傳照片呢。2、文件上傳對頁面的要求上傳文件的要求比較多,需要記一下:必須使用表單,而不能是超鏈接 表單的method必須是POS

原创 Hadoop之MapReduce自定義二次排序

一、概述 MapReduce框架對處理結果的輸出會根據key值進行默認的排序,這個默認排序可以滿足一部分需求,但是也是十分有限的。在我們實際的需求當中,往往有要對reduce輸出結果進行二次排序的需求。對於二次排序的實現,網絡上已經有很多

原创 Shell腳本中非交互式修改密碼的兩種方法

這篇文章主要介紹了Shell腳本中非交互式修改密碼的兩種方法,本文講解了使用chpasswd和使用passwd和--stdin組合兩種方法,需要的朋友可以參考下     今天在寫一個shell腳本的時候發現需要設置用戶的密碼,而設置密碼是