原创 Node 單機集羣入門實戰

該文章首發於我的博客,歡迎來踩 ~ 另外,本文的 代碼 demo 鏈接,可以盡情 fork 提 PR😂。 文章開頭,先給大家拋出一個問題。 用過 Node 的人都知道,Node 採用的是類似 Nginx 單進程、異步IO 的運行模型,這也是

原创 MongoDB中的參數限制與閥值詳析

這篇文章主要給大家介紹了關於MongoDB中參數限制與閥值的相關資料,文中通過示例代碼以及圖文介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧 前言 今天搜索spark

原创 App爬蟲思路

評估分析在抓包前,建議一定要先分析。有網頁端抓網頁端、有移動端抓移動端、有客戶端抓客戶端,最後的選擇纔是App。舉個例子。針對騰訊視頻考慮順序:網頁端:https://v.qq.com/移動端:https://m.v.qq.com/ind

原创 神經網絡基礎及Keras入門

神經網絡定義 人工神經網絡,簡稱神經網絡,在機器學習和認知科學領域,是一種模仿生物神經網絡(動物的中樞神經系統,特別是大腦)的結構和功能的數學模型或計算模型,用於對函數進行估計或近似。爲了描述神經網絡,我們先從最簡單的神經網絡講起,這個神經

原创 WebSocket爬蟲之爬取龍珠彈幕

我是個宅男,喜歡看很多人直播,以前可以看一天直播不出門。現在主要看這麼些主播,虎牙的韋神、Dopa,鬥魚的狗賊噓噓。對於其中的彈幕文化,非常感興趣,就研究下,發現彈幕是用WebSocket實現的,那首先來說說什麼是WebSocket。Web

原创 Pycharm插件推薦:Docker integration

插件Docker在設置-Plugins-BROWSE REPOSITORIES… 中搜索“Docker”安裝即可,重啓使用當然本地必須先安裝Docker,並且打開Docker,而且需要加入用戶組$ sudo groupadd docker

原创 Keras 訓練簡單的深度神經網絡

機器學習訓練營最近的作業都是使用Keras,所以最近去翻了下文檔,這裏記錄一下學習栗子。(官網有中文文檔)不多BB,直接上代碼,註釋已經寫得很清楚了。#!/usr/bin/env python # -*- coding: utf-8 -

原创 Python實現常見的迴文字符串算法

迴文利用python 自帶的翻轉 函數reversed()def is_plalindrome(string): return string == ''.join(list(reversed(string)))自己實現def

原创 當selenium被識別爬蟲後

因爲某站發版,在修一個以前的項目,用Selenium驅動Chrome來做的,然後在某頁面需要點擊,無論怎麼做都失效,我嘗試過如下方法:原始的點擊,如:driver.find_element_by_id('id').click()瀏覽器執行j

原创 Scala學習之相同的函數名

最近在慢慢的開始用Scala寫Spark,剛開始也是在菜鳥教程上簡單過了一遍Scala,現在還記得一些基本語法,還有各種奇怪的語法糖。想要更快的學習這門語言,還是需要自己多謝謝。今天在看別人代碼時,發現他在類中定義了兩個名字一模一樣的函數,

原创 爬蟲之全站爬取方法

方法做過好幾個關於網站全站的項目,這裏總結一下。先把上面那張圖寫下來,全站爬取的兩種方法:關係網絡:優點:簡單;可以抓取“熱門”數據缺點:無法抓取全量數據;速度慢;需要解決去重問題可行性:比較高遍歷ID優點:可以抓取所有數據;不用數據去重缺

原创 Spark實戰--學習UDF

在開始正式數據處理之前,我覺得有必要去學習理解下UDF。UDFUDF全稱User-Defined Functions,用戶自定義函數,是Spark SQL的一項功能,用於定義新的基於列的函數,這些函數擴展了Spark SQL的DSL用於轉換

原创 初步嘗試 sklearn

Scikit-learn是一個用於Python編程語言的免費軟件機器學習庫。 它具有各種分類,迴歸和聚類算法,包括支持向量機,隨機森林,梯度增強,k均值和DBSCAN,旨在與Python數值和科學庫NumPy和SciPy互操作。安裝方法很簡

原创 Kaggle入門之預測房價

先給出本次參賽的地址House Prices: Advanced Regression Techniques 這是一個非常經典機器學習題目,給出衆多與房價相關的特徵,根據這些數據特徵來預測房價。理解問題與數據首先當然是導入數據了,建議此類數

原创 Scrapy報錯 Connection was closed 解決方法

發現問題今天覆原一個古老項目時,一直遇到了一個問題,Scrapy一直提示下載某鏈接時出錯了,報錯信息如下:[<twisted.python.failure.Failure twisted.internet.error.ConnectionD