原创 Hadoop組件之Hive

Hadoop組件之Hive Hive 是一個構建在Hadoop上的數據倉庫框架,是應Facebook每天產生的海量新興社會網絡數據進行管理和機器學習的需求而產生和發展。Hive設計的目的是讓精通sql技能但java編程技能相對較弱

原创 Hadoop數據存儲

Hadoop數據存儲 Hadoop能高效處理數據的基礎是有其數據存儲模型做支撐,典型的是Hadoop的分佈式文件系統HDFS和HBase。 一、HDFS文件系統 1.0、 HDFS簡介 HDFS是Hadoop的分佈式文件系統的實現

原创 Logistic Regression with a Neural Network mindset (course 1 week 2)

是對吳恩達的 deep learning課的總結 課程中的使用到的數據我會上傳到CSDN。 Logistic Regression with a Neural Network mindset Welcome to your first (

原创 機器學習基礎算法小結

機器學習的問題更多的對算法模型的優化,特徵工程也屬於對算法模型的優化,這一點在後面均有體現。 說明:本文是對部分機器學習的算法模型的思想進行抽取,不會出現詳細的推導。 先看一下要掌握的算法有哪些,我個人覺得部分算法有點偏,不過應該是在某個

原创 YARN

YARN Apache YARN(Yet Another Resource Negotiator) 是Hadoop集羣的資源管理系統。YARN爲應用使用提供請求集羣資源的API,對使用者而言,這些分佈式計算框架的細節被YARN的資源管理所

原创 機器學習中基本知識及資源

機器學習中基本知識及資源 Resource of Machine Learning 初學者如何從零學習人工智能?看完你就懂了 還有臺灣大學林軒田教授在coursera上的兩門關於機器學習的課程。 機器學習—林軒田 模型中中數學 這裏有一篇

原创 ubuntu安裝Hadoop的問題

前提是你已經安裝好Hadoop了,該篇blog是講怎麼安裝,安裝請進:http://blog.csdn.net/yangzhiyouvl/article/details/52093719 問題描述:Hadoop能夠正常啓動,jps 命令能

原创 centos7搭建hadoop2.7.2完全分佈式集羣

centos7搭建hadoop2.7.2完全分佈式集羣 我之前使用的是centos6.8安裝hadoop2.7.2,但報錯如下: WARN util.NativeCodeLoader: Unable to load native-hado

原创 配置Hadoop2.xx的高可用(Hadoop2.0 HA)

配置Hadoop2.xx的高可用(Hadoop2.0 HA) 在Hadoop2.0以前,由於只有一個NameNode,存在單點故障的問題;在Hadoop2.0中的HA解決了該問題。hadoop2.0中HDFS的高可靠指的是可以同時啓動2個

原创 你應該知道的7種迴歸方法

本文是我從國外網站翻譯而來的文章,如有錯誤之處,敬請指出! 原文標題:7 Types of Regression Techniques you should know! 鏈接:https://www.analyticsvidhya.c

原创 互聯網技術學習中的一些資源總結

互聯網技術學習中的一些資源總結 Hadoop在大數據世界裏的地位毋庸置疑,總結一下一些學習資源。當然還有一些java、python等等。 IT電子書下載:只有英文版哦 http://it-ebooks.info Hadoop 準備工作 Y

原创 CENT OS 7初體驗

CENT OS 7初體驗 今天體驗了一下cent os 7.2(最小化安裝),感覺就是安裝界面變化太大, 還增加了安裝界面添加用戶。。。。不信?上圖: 心裏有點高興,但是,燒年,表高興臺早。果然不祥的感覺迎面撲來了, 我用centos

原创 Mac 安裝 xgboost

Mac 安裝 xgboost 1、升級brew 由於把Mac升級到10.12後,brew沒有更新,我在更新brew的時候發現幾個坑,現分析一下。不要直接使用 brew update 更新brew,會報錯。使用 brew upgrade 進

原创 Hadoop組件之MapReduce框架

Hadoop組件之MapReduce框架 此處的介紹不是書上的抄寫,只作理解爲主,所以請諒解語言用詞的精確性。而且不可能用一篇文章就學會MapReduce 框架,僅作爲引導。 認識MapReduce MapReduce是一種編程模型,用於

原创 企業級HBase搭建

企業級HBase搭建 HBase介紹 這部分請參考我的博文:Hadoop數據存儲 企業級HBase參數配置 設置linux系統最大進程數和最大文件打開數 使用root用戶設置,完成需要重新登錄。 vim /etc/security/lim