原创 matlab ndims 函數 與 expand 函數
ndims 函數： 返回矩陣的維數。 expand 函數： A = [1 2; 3 4]; % 2x2 SZ = [6 5]; B = expand(A,SZ) % Creates a 12x10 array. B = 1
2020-02-22 00:12:25
原创 java 使用 fastjson 處理 json
fastjson 爲阿里巴巴開發的開源json處理庫。阿里巴巴的東西，效率沒的說。 實例： package com.lm; import com.alibaba.fastjson.JSON; import com.alibaba.fas
2020-02-22 00:12:24
原创 使用Spark ALS實現協同過濾
轉自：http://blog.javachen.com/2015/06/01/how-to-implement-collaborative-filtering-using-spark-als.html 本文主要記錄最近一段時間學習和
2018-08-22 19:13:11
原创 HMAC-SHA1各語言版本實現
轉自：http://blog.csdn.net/jiang1013nan/article/details/17318133 在各大開放平臺大行其道的互聯網開發潮流中，調用各平臺的API接口過程中，無一例外都會用到計算簽名值(sig值)
2018-08-22 19:13:11
4
原创 kafka性能測試
1、環境 Ubuntu 12.04 4核4G虛擬機 100M網卡 2、配置 原生配置，單broker。使用kafka自帶的zk服務。 3、性能 模擬線上日誌大小，單條600b 逐條讀寫（50w記錄）: Write 1200
2018-08-22 19:13:11
原创 zookeeper3.4.5自動清理日誌
轉自：http://blog.csdn.net/wangmuming/article/details/23665757 從3.4.0開始，zookeeper提供了自動清理snapshot和事務日誌的功能， 通過配置 autopurg
2018-08-22 19:13:11
2
原创 map和hash_map性能測試
轉自：http://blog.sina.com.cn/s/blog_5378b2830100c5a4.html 大家都知道map是使用樹來做查找算法，而hash_map使用hash表來排列配對，是使用關鍵字來計算表位置。那使用起來他
2018-08-22 19:13:11
原创 breeze densematrix 基本操作
代碼如下： val matrix1 = DenseMatrix((1.0, 2.0, 3.0, 0.0), (3.0, 4.0, 5.0, 0.0), (5.0, 6.0, 7.0, 0.0)) val matrix2 = DenseMa
2018-08-22 19:13:11
原创 數據可視化簡單理解
數據可視化，既是把抽象的數據形象化。 主要表現形式爲，數字數據表格化、圖形化。 當前主要的可視化工具可大致分爲兩類： 可視化展示，如傳統的圖形報表； 可視化分析，如知識圖譜、可視化數據挖掘。
2018-08-22 19:13:10
2
原创 hbase導入數據幾種方式
轉自： http://database.51cto.com/art/201407/445438.htm HBase實戰(1)：數據導入方式 作爲Hadoop生態系統中重要的一員, HBase作爲分佈式列式存儲, 在線實時處理
2018-08-22 19:13:10
1
原创 分類算法中的ROC與PR指標
基本概念 True Positives,TP：預測爲正樣本，實際也爲正樣本的特徵數False Positives,FP：預測爲正樣本，實際爲負樣本的特徵數（錯預測爲正樣本了，所以叫False）True Negatives,TN：預測爲負
2018-08-22 19:13:10
2
原创 scala 隨機數函數截取 spark 數據集
scala代碼： scala.math.abs(scala.util.Random.nextInt())%27<20 scala.math.abs：絕對值 scala.util.Random.nextInt：隨機數 應用，截取spar
2018-08-22 19:13:10
2
原创 梯度法（SGD）、擬牛頓法（LBFGS）與共軛梯度法（CG）
一、基本原理 梯度法： 由一階泰勒級數展開式，f(x+dx) = f(x) + sum(i,df/dx(i)*dx(i)) + r(x,dx)。其中r(x,dx)爲餘項，當dx很小時，可忽略餘項。推倒得迭代：x=x+dx=x-miu*df
2018-08-22 19:13:10
原创 hive 查詢結果導入 local 與 HDFS
導入本地： insert overwrite local directory '/mnt/spark-tmp/apps.txt' row format delimited fields terminated by ',' select
2018-08-22 19:13:10
1
原创 spark 多目錄輸出
/** * 多目錄輸出 */ class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] { //指定該條記錄的輸出文件 o
2018-08-22 19:13:10
2