原创 TFS(Taobao File System)安裝辦法

TFS(Taobao File System)是一個高可擴展、高可用、高性能、面向互聯網服務的分佈式文件系統,主要針對海量的非結構化數據,它構築在普通的Linux機器 集羣上,可爲外部提供高可靠和高併發的存儲訪問。TFS爲淘寶提供

原创 Hadoop環境共享

最近花了很長時間搭載了Hadoop生態系統環境,其中包含Spark,Hive,HBase等,將環境壓縮成一個壓縮包,現在分享給大家,親測可用 虛擬機鏡像鏈接 1.下載解壓後直接用VMVare打開(有點大,7個多G) 2.虛擬機登

原创 Java實現高斯模糊算法處理圖像

高斯模糊(英語:Gaussian Blur),也叫高斯平滑,是在Adobe Photoshop、GIMP以及Paint.NET等圖像處理軟件中廣泛使用的處理效果,通常用它來減少圖像噪聲以及降低細節層次。 簡介 高斯模糊(Gaus

原创 大數據可視化Google Chart實現

本程序調用Weka API及libsvm工具包,對基金數據庫進行數據預處理,然後將處理好的數據通過Chart.js 框架來實現數據的可視化,接下來要說明實現流程。 完整版源碼下載 數據讀取 連接數據庫 Class.forName

原创 《machine learning with spark》學習筆記--推薦模型

In this article, we will use explicit rating data, without additional user or item metadata or other information re

原创 IBM openblockchain學習(四)--crypto源碼分析

crypto是blockchain中加密技術功能的實現,其中包括了橢圓曲線加密和SHA256等加密算法等,接下來將對其核心部分進行解析。 elliptic 返回加密層中使用的默認橢圓曲線 func GetDefaultCurve

原创 IBM openblockchain學習(二)--chaincode源碼分析

openblockchain是IBM開源的blockchain項目,具體安裝流程之前已經介紹過,具體請看http://blog.csdn.net/pangjiuzala/article/details/50897819。 解

原创 JAVA EE 7 SDK Tutorial分析

隨着Java平臺企業版(Java EE),Java企業應用程序的開發從未如此簡單或更快。在Java EE 7平臺的目的是向開發人員提供了一套強大的API,同時縮短開發時間,降低了應用的複雜性,並提高應用程序的性能。 在Java E

原创 經典面試題---單鏈表的基本操作(C語言實現)

以下是常見的單鏈表操作,包括倒序、排序、查找等函數,親調可用,基礎知識,值得品味 #include<stdio.h> #include<stdlib.h> #define ERROR 0 #define OK 1 typed

原创 10G數據不用框架快速去重

試想一下,如果有10G數據,或者更多;怎麼才能夠快速地去重呢?你會說將數據導入到數據庫(mysql等)進行去重,或者用java寫個程序進行去重,或者用Hadoop進行處理。如果是大量的數據要寫入數據庫也不是一件容易的事情,首先你需

原创 《machine learning with spark》學習筆記--文本挖掘

We will introduce more advanced text processing techniques available in MLlib to work with large-scale text dataset

原创 eclipse上運行spark程序

最近在學spark,嘗試在Windows+Eclipse運行程序,現在分享給大家 首先,你得把你要處理的文件上傳帶HDFS,怎麼上傳文件網上都有教程,此處不再贅述。 項目結構圖 源代碼 import org.apac

原创 一個用Python編寫的股票數據(滬深)爬蟲和選股策略測試框架

一個股票數據(滬深)爬蟲和選股策略測試框架,數據基於雅虎YQL和新浪財經。 根據選定的日期範圍抓取所有滬深兩市股票的行情數據。 根據指定的選股策略和指定的日期進行選股測試。 計算選股測試實際結果(包括與滬深300指數比較)。

原创 《machine learning with spark》學習筆記--分類

In this article, you will learn the basics of classification models and how they can be used in a variety of contex

原创 IBM openblockchain學習(五)--consensus源碼分析

這段時間小編一直忙着找實習,現在開始接着分析了,不好意思讓大家久等了。好了,直接上乾貨。 consensus是blockchain中實現obc peer端一致性的插件,諸位請看 consensus // Consenter用於