原创 大數據構建數據生態系列02——與研發的愛恨情仇

1 寫在之前   接上一章的架構圖,我們知道我們只是起了個頭,後續還有待完善的部分。   這一章節暫時不講,我們在上一章成果的基礎上,講述一下整個數據收集的相關故事,以及期間的一些收穫和思考。   主要是和研發團隊之間的“愛情火花”。

原创 django rest framework 基於類的視圖

REST框架提供了一個APIView類,它是Django View類的子類。 APIView類View通過以下方式與常規類不同: 傳遞給處理程序方法的請求將是REST框架的Request實例,而不是Django的HttpRequest實例

原创 1分鐘瞭解JAVA與大數據之間的關係

大數據無疑是目前IT領域的最受關注的熱詞之一。幾乎凡事都要掛上點大數據,否則就顯得你OUT了。如果再找一個可以跟大數據並駕齊驅的IT熱詞,JAVA無疑是跟大數據並駕齊驅的一個詞語。很多人在提到大數據的時候總會想到JAVA,那麼java和大

原创 大數據——從推薦策略算法到推薦系統,到數據架構,再到產品設計

01 推薦策略以及算法的百花齊放 承上,我們講了最基礎的基於內容屬性本身的相似關係進行鍼對物品的推薦,再到基於用戶的興趣屬性進行推薦,再過渡到基於協同關係進行推薦,其實這些都算是推薦的策略,說的更技術點就是推薦的算法。   而推薦策略的想

原创 2018全球大數據產業將呈七大發展趨勢

大數據”是今年達沃斯世界經濟論壇的熱詞之一,與會各界都對雲計算、大數據等驅動經濟數字化轉型因素表達了高度關注。而在年初舉辦的2018拉斯維加斯消費電子展(CES)上,美國消費技術協會總裁兼首席執行官加里·夏皮羅、英特爾首席執行官布萊恩·克

原创 我用Python爬取了租房網站的信息,再也不怕租不到舒適的房啦

python爬蟲需要學習那些知識呢?學習一些抓包知識,有些網站防爬,需要人工瀏覽一些頁面,抓取數據包分析防爬機制,然後做出應對措施。比如解決cookie問題,或者模擬設備等。不過對前端也要比較熟悉,比如說html和簡單的js和web框架什

原创 大數據構建數據生態系列之01——拆解架構圖

1寫在前面, 大數據發展越來越火 2  結合業務需求拆解架構圖   這裏,我們把之前一章已經上過的架構圖再貼一次:   先簡單的從整體上說一下這個架構圖。   從架構圖中,我們可以看出來,我們整個數據架構中,需要做的事情很多。  

原创 2018年大數據發展趨勢的十大預測,你知道幾個?

報告對2018年大數據發展趨勢進行了十大預測,包括:機器學習繼續成爲大數據智能分析的核心技術;人工智能和腦科學相結合,成爲大數據分析領域的熱點;數據科學帶動多學科融合;數據學科雖然興起,但是學科突破進展緩慢;推動數據立法,重視個人數據隱私

原创 大數據採集、清洗、處理:使用MapReduce進行離線數據分析完整案例

1 大數據處理的常用方法大數據處理目前比較流行的是兩種方法,一種是離線處理,一種是在線處理,基本處理架構如下:在互聯網應用中,不管是哪一種處理方式,其基本的數據來源都是日誌數據,例如對於web應用來說,則可能是用戶的訪問日誌、用戶的點擊日

原创 自學經典5個月的python學習歷程,很多老司機都不知道的奧祕

“人生苦短,我用Python”,下面分享pyhton的一些基礎知識,學習中可以幫助快速入門三元條件判斷的3種實現方法C語言中有三元條件表達式,如 a>b?a:b,Python中沒有三目運算符(?:),但Python有它自己的方式來實現類似

原创 零基礎快速入門python教程,結合新手練習的5大項目

Python是一門動態語言與Java,C等相對,Python不用編譯,像腳本一樣直接運行.這就導致了,所有錯誤都是運行時的!即使有語法錯誤,或者異常,如果程序邏輯沒有執行到,就不會有錯誤.比如一個if分支中有語法錯誤,使用了未定義的函數,

原创 大數據能做什麼,給我們帶來了什麼

Hadoop和大數據是這兩年最火的詞兒們之一,越來越多的公司對這個東西感興趣,但是我接觸到的大多數公司裏的人,無論是技術人員還是老闆。都不知道怎麼能把這些東西用於改善自己公司的業務。在解答的過程中,提煉出幾個要點,記錄一下。 大數據和雲是

原创 java程序員轉職大數據的優勢在哪裏?

大數據時代,中國IT環境也將面臨重新洗牌,不僅僅是企業,更是程序員們轉型可遇而不可求的機遇。國內大多數大型互聯網公司的程序員被稱作研發工程師,但實際上國內幾乎沒有研發項目,只能叫做開發。開發程序員的工作大多是重複性勞動,容易產生疲憊感,薪

原创 零基礎編程可以學習大數據嗎?大數據難不難學啊?

隨着互聯網行業的快速發展,一方面是大企業對大數據相關技術人才的高薪招聘,另一方面是國家政策的大力支持,使得大數據行業備受人們的關注。科多大數據帶你瞭解一下大數據行業:面對這麼一個熱門的行業不少人對大數據產生了濃厚的興趣,其中不少人是之前並

原创 學編程,學java還是大數據、android?平均月薪23k以上告訴你方向

學編程,學java還是大數據、android?有不少同學在糾結中,最近有不少初學者來問到,學習大數據,學習spark,公司主要使用那些語言編寫,每聽到這一個問題,起碼還是很不錯的,證明你已經開始學習大數據了,並瞭解大數據Spark是可以使