原创 貝葉斯分類器-理論部分

樸素貝葉斯分類器的應用 生活中很多場合需要用到分類,比如新聞分類、病人分類等等。 本文介紹樸素貝葉斯分類器(Naive Bayes classifier),它是一種簡單有效的常用分類算法。 一、病人分類的例子 讓我從一個例子開始講

原创 貝葉斯分類器-R語言實戰

數據分析與挖掘 - R語言:貝葉斯分類算法(案例一) 2016-05-25 13:31 by 獵手家園, 4517 閱讀, 0 評論, 收藏, 編輯 一個簡單的例子!環境:CentOS6.5Hadoop集羣、Hive、R、RH

原创 Lasso迴歸與嶺迴歸

1. Radge迴歸和Lasso迴歸都是通過在損失函數中引入以迴歸係數爲變量的正則項和λ來來弱化迴歸係數,從而避免過擬合發生。 2. λ較大時,迴歸係數被弱化,可以校正過擬合。且當λ逐漸增大時,收斂速度回加快。 3. Lasso迴歸可

原创 廣義線性混合模型

1.線性模型和線性混合模型區別 線性模型的表達式爲:pitch~age+ε. 即兩部分:固定項age和誤差項ε。 廣義線性混合模型表達式爲:pitch~age+(1|subject)+ε 三部分:固定項age,隨機項(1|subjec

原创 redis--基本操作

使用python來操作redis用法詳解 Redis目前支持5種數據類型,分別是: String(字符串) List(列表) Hash(字典) Set(集合) Sorted Set(有序集合) 1、redis連接 redis

原创 python--type,object,元類,__new__關係

上篇文章中通過代碼方式,重點講解了: __new__和__init__之間的關係,前者是用來創建類實例,後者用來初始化類實例,它兩配合使用,才完整生成一個類實例。 object和type之間的關係,前者負責繼承這塊工作,後者負責類型

原创 python--__new__與__init__區別和type與object區別

首先上代碼,用到的是python3,不適合python2: class B(): def __new__(cls): print("6:B.__new__") print("7-1:",obje

原创 python--詳細解讀yield

版權聲明:作者原創,轉載請附上文章鏈接。 https://blog.csdn.net/qq_36330643/article/details/78247070 閱讀別人的python源碼時碰到了這個yield這個關鍵字

原创 正則表達式--\b

引用網上一段話:\b 是正則表達式規定的一個特殊代碼(好吧,某些人叫它元字符,metacharacter),代表着單詞的開頭或結尾,也就是單詞的分界處。 雖然通常英文的單詞是由空格,標點符號或者換行來分隔的,但是 \b 並不匹配這些單

原创 scrapy--Rule()與LinkExtractor()函數理解

這兩個函數用於CrawlSpider內的rules屬性中,具體的參數用法網上有很多,這裏不再贅述。我想說的是差點搞死我的幾個注意點。 1.來源: from scrapy.contrib.spiders import Rule from

原创 python的decode()與encode()詳解

1.decode() bytes.decode(encoding=“utf-8”, errors=“strict”) 1.這個函數是bytes類型數據調用的,字符串str類型是不能夠調用的。(好多文章說字符串也可以調用該函數,我是真搞

原创 requests--request請求亂碼問題

想着本來是要爬取網站https://www.kanunu8.com上所有小說的,但是返回的網頁中中文都是亂碼。此時處理思路爲: 1.查看原網頁是什麼編碼 方法一:右鍵“查看網頁源代碼”,一般在源代碼頭內會有屬性charset="gb2

原创 chrome-調試按鈕詳解

在爬蟲開發過程中,form表單中一些參數是通過加密後實現的,因此需要快速找到加密過程,這就需要對js進行調試了。 一.如何快速定位查找數據 1.進入console面板,快捷鍵:ctrl+shift+F鍵進入search搜索框,輸入搜素

原创 chrome--瀏覽器調試工具詳解

chrome瀏覽器開發調試工具打開方式:F12鍵 一,常用面板介紹 1.定位小箭頭按鈕(左邊第一個): 選中Elements面板,並啓動該按鈕,可以在頁面中定位相應元素的源代碼位置,或者選擇源代碼位置可定位到頁面相應的元素。 2.手

原创 requests-爬取美女圖片源碼

爬取思路: 1.分析ajax請求,找到存放圖片地址的json 2.解析json數據,提取中圖片url 3.再次請求圖片url,通過open()和write()方法將圖片保存至內地。 廢話少說,直接上代碼: 前提條件是在當前.py文件同