原创 Hadoop學習筆記(5)-搭建Hadoop分佈式

0.前言 我要搭建的集羣是一臺Master和3臺Worker。先按照以下博客內容配置。 第一步:修改hostname和hosts http://blog.csdn.net/xummgg/article/details/5063

原创 Hadoop學習筆記(4)-Eclipse下搭建Hadoop2.6.4開發環境並寫wordcount

0.前言 本文參考博客:http://www.51itong.net/eclipse-hadoop2-7-0-12448.html 搭建開發環境前保障已經搭建好hadoop的僞分佈式。可參考上個博客: http://blog.

原创 Hadoop學習筆記(7)-簡述MapReduce計算框架原理

1. MapReduce基本編程模型和框架 1.1 MapReduce抽象模型 大數據計算的核心思想是:分而治之。如下圖1所示。把大量的數據劃分開來,分配給各個子任務來完成。再將結果合併到一起輸出。 注:如果數據的耦合性很高,不

原创 java 操作mysql的創建數據庫及數據的增刪改查

1.用java創建數據庫,但是這種動態創建數據庫是非主流的。一般不會這樣操作。 import java.sql.*; public class Test { public static void main(String[

原创 Hadoop學習筆記(1)-Hadoop生態系統

0.前言 先介紹下現在的整體大數據架構的內容。見下圖。 右邊的黑框部分是hadoop的核心架構。包括HDFS,MapReduce,yarn,hive,hbase。 中間紅框部分是saprk的生態圈,有RDD,sparkCor

原创 JAVA複習(7)-線程間通信

本文轉自: http://www.cnblogs.com/mengdd/archive/2013/02/20/2917956.html wait()方法   wait()方法使得當前線程必須要等待,等到另外一個線程調用not

原创 機器學習筆記(0)-有趣的機器學習:最簡明入門指南

這篇文章作爲機器學習的開篇。分享下自己的學習資料,並將所學的東西內容做分享。 首先可以觀看這篇有趣的入門文章---有趣的機器學習:最簡明入門指南 http://blog.jobbole.com/67616/ 下面是我學習的視頻,

原创 時寒冰:給孩子一個真實的《項鍊》,震撼無數人的講解

在訂閱裏讀到這樣一篇文章,很有感觸。所以轉載過來。要多角度思考問題。 在長期被非黑即白甚或黑白混淆乃至顛倒的教育薰染之下,人們需要重新找回自己的智慧、理性乃至悲憫之心。 http://mp.weixin.qq.com/s?__b

原创 [知乎有感]讀書到底爲了什麼,讀研到底值不值?

http://www.cnblogs.com/maybe2030/p/4592153.html 今天讀到這篇文章,頗有觸動,已經快研三了,讀研學會了什麼,得到來什麼。也看到過一些另一面的評價,來自百度貼吧: http://ti

原创 數據結構筆記(1)-順序表

程序都是自己手打,測試的。有問題可以留言。 1.順序表(what) 順序表是數據結構中鏈表的線性表的一種,是直接用數組做順序存儲數據,所以叫做順序表。 2.爲什麼(why)要有順序表 至於爲什麼,在後面記錄完鏈

原创 數據結構筆記(0)-前言

本文寫給自己 參加了2016年的華爲軟件精英挑戰賽。(最短路由問題) 題目:http://codecraft.huawei.com/ 4月11日初賽結束,很早就看了賽題,感覺初賽題目不難,想想用深度優先算法(DFS)+剪枝算

原创 mysql索引

二話不說了分享個不錯的介紹索引的內容,教科書式的安排,很全面,比大多數博客只能點到一點要強多了。 http://www.baike369.com/content/?id=5476 索引的含義和特點 索引是創建在表上的,是對數據庫

原创 Java數據類型與MySql數據類型對照表

本文講述了Java數據類型與MySql數據類型對照表。分享給大家供大家參考,具體如下: 對於bolb,一般用於對圖片的數據庫存儲,原理是把圖片打成二進制,然後進行的一種存儲方式,在java中對應byte[]數組。 點

原创 機器學習筆記(1)-簡介監督學習與無監督學習

機器學習方法主要分爲有監督學習(supervised learning)和無監督學習(unsupervised learning)。下面來用例子來簡單介紹下。 1.監督學習 1.1 地價預測問題 假如我是一位房產商。打算購買某城市

原创 mysql視圖

今天覆習視圖相關的操作。分享轉載這兩個鏈接。很全面。 http://blog.csdn.net/a672489861/article/details/17184265 http://www.jb51.net/article/36