原创 mongodb的簡要介紹及與python的集成

mongodb的簡要介紹及與python的集成 1.爲何NOSQL      NOSQL的主要原因有兩個:一是NOSQL更好的接受scale out,簡言之就是更好的支持分佈式數據庫,更好的適用於大數據。第二原因是SQL表結構要求太嚴,對

原创 numpy數組及矢量計算

一.ndarry對象     1.ndarry對象是一個多維數組的構造器,可以生成不同維度的多維數組。但要求每一維都有自己的格式,其使用如下:               引入包 import numpy as np           

原创 關初學redis的一些總結以及redis與python集成

關初學redis的一些總結與python、redis集成 1.關於redis: redis是一種內存數據庫,非常不同於平常所用的SQL和NOSQL。其目的是爲了提高高頻使用數據的存取速度。其工作原理類似hash表,主要是講存儲數據進行ke

原创 感知器算法

引例:判斷一個人是否長得帥??? 有如下feature: 身高,體重,三圍,顏值,學習成績(帥的人學習成績好的少...爲何要這麼一個扯淡的特徵下面會講解)等等。 假設有一個標準:每一個評分項給予多少分的權重,當所有feature與權重相乘

原创 sql與nosql區別

    在網上已經有無數的關於詞類的總結,此處僅僅是自己總結寫下,免得忘了!     sql:             優點: 集成式數據庫,多併發的操作性質。一致性,事物性的優良支持             缺點: 關係-對象之間的不匹

原创 logistic迴歸和用最大似然估計選取CostFunction

邏輯迴歸的想法是用迴歸的方法來解決分類問題,然而直接用線性迴歸達不到我們想要的效果如下圖(原因不再贅述),所以我們選取了sigmoid函數來進行擬合,原因以後闡述。 所以我們選擇瞭如下的函數來擬合: 然而,應該怎樣定義它的CostFun

原创 求複雜的時間複雜讀方法(假設法)

其實求時間複雜度的方法就是找出執行得最多的語句然後判斷其量級罷了,只是有時候不太容易直接看出來,所以需要用假設的方式輔助輔助 for(int i=0;i<n;i=i*3) cout<<"hehe"<<endl; 如上這段代碼,執行

原创 python之日期處理

一.生成日期 >>> from datetime import datetime >>> datetime.now() datetime.datetime(2015, 4, 16, 17, 31, 55, 842871) 二.日期轉換回s

原创 神經網絡和反向傳播算法推導

注:由於自己畫圖實在太難畫,本文中基本所有插圖來源於算法糰子機器學習班,請勿轉載 1.普通的機器學習模型: 其實,基本上所有的基本機器學習模型都可以概括爲以下的特徵:根據某個函數,將輸入計算並輸出。圖形化表示爲下圖: 當我們的g(h)爲

原创 用hadoop-streaming 運行python map-reduce程序

簡介:     hadoop是java寫的,所以,運行hadoop經常也值直接支持java。這讓我們這種不熟悉java的程序員很是心碎啊。還好,Doug Cutting大神也沒有直接放棄非java程序員這塊龐大的用戶需求,提供了各種各樣的

原创 用熵的決策樹問題ID3和C4.5,C5.0簡單介紹

用熵決策樹問題的最基本思想:     我們一般可以通過信息熵來描述分類的混亂程度,如果標註的種類繁雜,說明信息非常混亂,如果標註就只有一種,或者大部分標註相同,那麼說明這個數據集的信息比較整齊。用熵決策樹的基本思想就是通過不斷的劃分數據集

原创 梯度下降算法

注:本文所有圖片及文章架構均來源於“算法糰子”,後經本人改寫所成 以上兩幅圖片顯然左側這幅能更好描述房價與面積關係,但怎樣用數學表示? 我們將其誤差定義爲J,所有點的歐氏距離之和其實就是它的誤差J J=all(y-h(x)) 如感知器

原创 hadoop的HDFS和map-reduce

此處主要是將HDFS和map-reduce的基本原理寫在這兒,免得以後忘記了找不到 HDFS: 大體框架如下: NameNode:記錄文件在DataNode的位置信息和元數據信息,類似index,真正的數據存儲在DataNode節點 D

原创 const,static,全局變量細節及其區別

const: 限制符號,限制某個變量所指向的內容不能通過這個對象修改。 但是可以通過其他的修改,比如: int main(){ int x=5; const int &y=x; x++; cout<<y<<" "

原创 大數據面試題

本文爲轉的,怕忘記了 還有: http://blog.csdn.net/ycl1989y/article/details/7796250 http://blog.csdn.net/wchyumo2009/article/details/8