原创 web scraper 入門到精通之路

【摘要】來一個插件幫忙翻看一下網頁上的數據——webscraper,目的當然是爲了學習新知識,希望在此與大家一起進步,一起成長。謝謝大家的過目!爲了更加透徹清晰,將採用圖文並茂的方式。(如有侵權,請及時聯繫我) 本文來自於x-team成員

原创 如果你滿足這些條件,請千萬別來做數據分析

數據行業這幾年發展迅速,出現了很多數據的工種,包括人工智能,機器學習,數據挖掘,數據分析,數據倉庫,數據中臺,數據流式計算等方向。 我幾年前入坑的數分,由於門檻低,覆蓋範圍廣,學習可廣可深,受到天南海北萬衆寵愛於一身。當然,我估

原创 提高開發效率的 20 個 Chrome 插件!

現在很多新入門的程序猿使用Chrome瀏覽器都不會使用插件,插件不但可以提高開發效率,有些好用的插件可能很多開發者不知道,今天博主就整理了 20 多款Chrome插件,讓你的Chrome瀏覽器瞬間變爲裝逼神器。 谷歌商店即可下

原创 安裝國際版 WPS

前言:WPS中文版廣告垃圾滿天飛,WPS國際版卻很乾淨,但卻只有英文包,所以安裝完國際版後,還需要我們自己添加語言包。     WPS 國際版安裝 先下載安裝 WPS國際版     語言包的獲取 下載安裝WPS中文版,從安裝目錄下將

原创 學會這 4 個 Excel 實用技巧,數據分析立馬高人一等

對於剛進入數據分析行業新手來說,EXCEL可以被當做一款入門的軟件。在學習R或Python前,事先掌握一定的EXCEL知識是百利而無一害。EXCEL憑藉其功能強大的函數、可視化圖表、以及整齊排列的電子表格功能,使你能夠快速而深入

原创 hive 函數--多行數據轉化成 map 類型

最近工作中向別的部門提供接口數據時有這樣的需求將下面的表格形式的數據的後兩列輸出爲map形式即這個形式:然後用這個函數處理:str_to_map(concat_ws(',',collect_set(concat_ws(':',a

原创 怎麼設計高效的敏感詞過濾系統(一)

IM項目需要對上邊傳輸的消息進行必要的過濾。如果總是對着某人輸入f**k就顯得不太文明瞭。 一個通用且簡單的做法是,設定一批敏感詞,如果消息中出現這些詞,由系統進行必要的處理。怎麼實現這個功能呢? 一、能夠實現敏感詞過濾功能的方法有很多

原创 “用戶畫像”從生產到應用,背後的標籤邏輯是什麼?

本文內容爲【友盟+】首席數據架構師&數據委員會會長張金做客「極客公開課·Live 」演講內容。文章內容包含:用戶畫像的核心價值,用戶畫像是如何生成的?常用的標籤體系包括哪些?應用在哪?以及數據應用的建議和總結等。友萌君精心整理了文字+PP

原创 運營必知的基礎數據之用戶付費

之前講的用戶新增、用戶活躍數據相當於基礎設施,有了這些基礎設施後,纔可以開門營業,賺取利潤,而利潤就是本章要說的主題:用戶付費。 本篇我將從以下四個方面,來講解下用戶付費方面的知識。 一、用戶付費的數據指標 二、影響用戶付費的因素 三、提

原创 mysql中in函數和find_in_set函數的區別詳解

前段時間項目中使用到Mysql的FIND_IN_SET函數,感覺挺好用的。過一段時間,老大找到我說,這個需要改爲IN,哈哈,只能改了,原因會在下面分析到! mysql> select * from test; +----+----

原创 Python 產生特定範圍內不重複多個隨機數的兩種方法

在近期進行的一個實驗中,需要將數據按一定比例隨機分割爲兩個部分。這一問題的核心其實就是產生不重複隨機數的問題。首先想到的遞歸的方法,然後才發現Python中居然已經提供了此方法的函數,可以直接使用。具體代碼如下: #生成某區間內不

原创 使用 python 來操作 redis 用法詳解

1、redis連接 redis提供兩個類Redis和StrictRedis用於實現Redis的命令,StrictRedis用於實現大部分官方的命令,並使用官方的語法和命令,Redis是StrictRedis的子類,用於向後兼容舊版本的r

原创 大學四年,因爲知道這些開發工具,我成爲別人眼中的大神

點贊再看,養成習慣,微信搜索【三太子敖丙】我所有文章都在這裏,本文 GitHub https://github.com/JavaFamily 已收錄,有一線大廠面試完整考點,文末有福利。 注意:下面的軟件我都是簡單的介紹下是幹

原创 Python 中實現獲取兩個日期相差的月份數

Python 中處理日期時間的標準庫有time、datetime、calendar ,但是這三個庫都沒有獲取兩個日期相差多少個月的函數,如果用datetime中的strptime()直接進行兩個日期相減,返回值的最大單位是天,如下

原创 Android集成Facebook sdk,Key Hashes生成步驟

如上圖所示,使用facebook sdk進行login和share的時候,需要新建android平臺,用到key hashes,生成方法有兩種:方法一:keytool -exportcert -alias 'Nom