原创 macOS 上使用 lightgbm 遇到的坑及解決方法

lightgbm 包安裝成功,但使用時遇到以下錯誤: OSError: dlopen(/Users/Cyan/anaconda3/lib/python3.7/site-packages/lightgbm/lib_lightgbm.so,

原创 孤立森林(Isolation Forest)算法剖析

之後會持續更新算法剖析系列,力圖用最生動的例子演示每一個算法的原理,不稀裏糊塗做一個調包俠。歡迎持續關注,指正不足。 孤立森林(Isolation Forest)算法是西瓜書作者周志華老師的團隊研究開發的算法,一般用於結構化數據的異常檢測

原创 用 dash_bootstrap_components 爲 dash 生成美觀的導航欄

先安裝 pip 包: pip install dash-bootstrap-components 把 bootstrap 的 sheetstyle 加入你的 app 中: app = dash.Dash(__name__, exter

原创 Python Plotly Dash 畫多折線圖

import plotly.plotly as py import plotly.graph_objs as go # Create random data with numpy import numpy as np N = 50

原创 Plotly Dash 畫多個子圖

import plotly.plotly as py import plotly.graph_objs as go trace1 = go.Scatter( x=[1, 2, 3], y=[4, 5, 6] ) tra

原创 ImportError: cannot import name 'Graph' from 'pyecharts' 解決辦法

最近 pyecharts 包的結構進行了調整,Graph 模塊已經不在根目錄導致 ImportError,引入語句改成如下即可: from pyecharts.charts.basic_charts.graph import Graph

原创 【數據池塘】

歡迎關注我的知乎專欄【數據池塘】,專注於分享機器學習、數據挖掘相關內容:https://zhuanlan.zhihu.com/datapool

原创 我的 Hive 爲什麼跑不起來/跑得慢?看看是不是少了這幾行代碼?

《飲食男女》開頭說:“人生不能像做菜,把所有的料都準備好了才下鍋。” 但做大數據挖掘不一樣,MapReduce 不同於人生,一定要把準備工作做好了,才能順利運行後面的步驟。如果你的 HiveQL 代碼沒毛病,卻一運行就出現 Fail 提示

原创 機器學習:神經網絡的代價函數及反向傳播算法

在《機器學習:神經網絡的模型構建》中,我記錄了神經網絡的一些基礎知識,包括神經網絡的邏輯單元、模型表示、前向傳播等等。這篇筆記中,我會整理神經網絡的代價函數以及反向傳播算法~那麼如何在給定的訓練集下,來爲神經網絡擬合參數呢?和之前學習的大

原创 訓練及優化神經網絡基本流程之第0到6步

在之前的筆記中,我記錄過《神經網絡的代價函數及反向傳播算法》,以及使用BP算法(反向傳播算法)的一點細節。 這篇筆記想簡短地總結記錄一下訓練並優化神經網絡的幾個步驟: 第零步:之所以寫了個第零步,是想記錄一下如何搭建神經網絡,畢竟要先有網

原创 Java面試常問基礎知識(持續更新)

歡迎關注我的知乎專欄【數據池塘】,專注於分享機器學習,數據挖掘相關內容:HTTPS://zhuanlan.zhihu.com/datapool 本文中的知識都是我自己或同學在面試過程中常被問到的,在此整理記錄一下比較好的答案。 1,簡述J

原创 Kaggle 數據清洗挑戰 Day 5 - 處理不一致數據

今天是 Kaggle 數據清洗挑戰的第五天,轉眼最後一天啦!這次任務是處理拼寫不一致的數據,例如“康涅狄格州”可能被記錄爲 “Connecticut”、“Coon.” 或 “Conecticutt”,這些實際代表是同一個值,而機器會將他們

原创 機器學習算法數學基礎之 —— 統計與概率論篇(3)

核心問題發現數字的隱藏規律,完成分類。核心技能最大似然估計給定一個概率分佈  ,已知其概率密度函數(連續分佈)或概率質量函數(離散分佈)爲 ,以及一個分佈參數  ,我們可以從這個分佈中抽出一個具有  個值的採樣  利用  計算出其似然函數

原创 【LintCode】算法題 1443. 最長AB子串

描述給你一個只由字母'A'和'B'組成的字符串s,找一個最長的子串,要求這個子串裏面'A'和'B'的數目相等,輸出該子串的長度。這個子串可以爲空。s的長度n滿足 2<=n<=1000000。樣例給定s="ABAAABBBA",返回8。解釋

原创 NLP 帶你分析 —— 扎克伯格在聽證會上說了什麼?

蹭一下這幾天扎克伯格因爲 Facebook 信息泄漏事件,坐上美國參議院委員會聽證會的熱度,我們用 NLP 手段來分析一下聽證會上的對話內容,看看扎克伯格到底說了什麼?我是在 Jupyter 裏進行分析的,需要的包有:import pan