原创 應屆畢業生如何入門AI? | 分享大數據AI方向半年工作記錄

今天看到了我半年的日報,從五月到十二月初,每個工作日都在記錄,被自己的堅持感動,索性整理出來。 現在回想起來寫日報的日子是最充實的,每天的日報在鞭策我要有所收穫。 相關博客:應屆畢業生如何入門AI? | 分享大數據AI方向學習記錄

原创 python 數據分析、數據處理之超實用的pandas 實現表關聯連接、新增添加一行記錄、空值判斷等

我在博客上分享的都是在實際項目中遇到的棘手的並且解決的問題,整理出來當作知識總結,希望也能幫助到需要的人。 一、dataframe 的merge方法實現千萬條數據的關聯 這裏的temp1是特徵數據,有幾千萬條,temp2是樣本標籤,有幾

原创 應屆畢業生如何入門AI? | 分享大數據AI方向學習記錄

回顧過去的一年。 從大四剛剛開始進公司實習到現在工作得心應手的狀態; 從開始的只有c語言基礎到現在能理解並應用機器學習算法,寫Python不求人的狀態; 從對電腦、office、數據庫、虛擬機陌生到熟悉; 從對金融業務的一竅不通到現

原创 人臉識別 + 語音識別實現智能電話會議 | python demo

把最近的調研demo整理出來,實現智能電話會議,我提供兩個核心的web服務,一個是人臉識別實現身份確認,一個是語音識別實現會議內容實時轉寫。 預備知識 python 寫一個靜態服務(實戰) python3.6 編程技巧總結 opencv

原创 pycharm中如何換環境變量(Mac版)

點擊左上角Pycharm 選擇Preferences 選擇Project Interpreter 更換環境 點擊右下角的OK按鈕 完成更換

原创 大數據架構師之路 | 概念術語理解

架構師,不明覺厲,也是我的追求目標,因此蒐集了很多大數據架構相關的知識,理解並整理出來,一起學習。 知識拓展 大數據人工智能行業技術人員必備技能 hive入門 | 數據類型、數據存儲、數據結構詳解+SQl代碼示例 hive進階 | 數據

原创 金融知識圖譜

知識圖譜與機器學習技術對比 相似之處: 都使用海量標註數據集 都以替代人類進行分析實體特徵爲目標 知識圖譜中需要用到機器學習,機器學習也需要知識存儲 相異之處: 知識圖譜不需要訓練 知識圖譜可以容忍比較「髒」的異構數據 知識圖譜推理

原创 文本分類方向的一點探索 | 解讀自然語言處理技術現狀

最近在做文本分類的項目,在這個方向上有點自己的思考,總結出來,希望對大家有幫助。 研究意義 我們身邊每天所產生的信息量正在迅猛增加,而這些信息基本都是非結構化的海量文本。 人類可以輕鬆處理與感知非結構化文本,但機器顯然很難理解。 不

原创 python如何用matplotlib畫出漂亮美觀的趨勢圖 | 圖例、座標、日期處理、像素、畫布大小、分辨率、點標籤等問題

這幾天完成了一個小項目,matplotlib畫出的圖像總是不理想,很多細節需要調節,譬如橫座標的控制、圖例的控制、周邊留白的控制還有圖片大小尺寸的控制,都需要根據業務需求來調整。 下面我一步步來說明怎麼控制畫圖的參數 1. 最基本的畫

原创 TensorFlow 技術框架解析 | 圖文理解深度學習技術實現

最近項目需要,客戶想上tensorflow,想把項目做的高大上一點,向我諮詢tensorflow的相關問題和部署方案,我要假裝自己很懂TF,之前一直在跟進tensorflow的技術進展,最近又做了很多功課,整理出以下內容,用這個ppt給客

原创 在Mac OS X上安裝Python Igraph | 官方教程

前言 這兩天調研複雜網絡的技術實現,發現Igraph是一個很優秀的複雜網絡開源項目,可是安裝的過程中踩了很多坑,pip install 安裝後會出現一系列問題,所以看看前人的經驗,很多帖子講的都沒有普遍性,最後在igraph官網看到了安裝

原创 讀書心得——一個程序員的自我反思

最近和同事相處上出了點問題,可能做技術久了思維比較直接,講話也直接,這樣其實很傷人,在家突然看到了過去一年寫的讀書筆記,纔開始反思自己。 以下是我看過的覺得比較有用的一些文字,記下來的目的是要時刻提醒自己,鞭策自己,做的更好。 關於說

原创 手把手教你製作 中英文 詞雲 | python demo

以前做詞雲的時候網上看的python做詞雲的坑都很多,耗了很多時間才高清楚wordcloud製作詞雲的精髓和脈絡,整理如下。 相關文章 Python 中文 文本分析 實戰:jieba分詞+自定義詞典補充+停用詞詞庫補充+詞頻統計 準備

原创 各種聚類算法(原理+代碼+對比分析)最全總結

序言 最近在準備算法面試,百度金融、京東廣告數據部、新浪信息部都被我面完了,像58同城、掌閱、宜信這樣的口碑不好的公司給我發了面試邀請都被我拒了,只有兩家創業公司面試成功。我的認識是對於一個畢業才一年,本科學歷的我來說目前最適合我的還是互

原创 反欺詐建模方案

在反欺詐場景中,知識圖譜聚合各類數據源,逐步繪製出借款人的profile,從而針對性的識別欺詐風險。以一個借款人舉例,借款人可以有身份證號,手機號,學歷等個人信息,屬於個人的屬性信息;而借款人可以有擔保人或是親屬好友,借款人與擔保人之間的