原创 Hadoop2.8第一個案例 運行wordcount
運行wordcount1. 查看hadoop中MapReduce路徑2. 創建word.txt，生成數據文件3. 查看文件4. 創建HDFS目錄5. 將數據文件word.txt上傳到HDFS /work/data/input 目錄
2020-07-06 23:17:27
原创 CentOS7虛擬機設置靜態IP
在VMware中，虛擬機->設置，選擇NAT模式 在VMware中，編輯->虛擬網絡編輯器 在CentOS系統中，切換到/etc/sysconfig/network-scripts路徑下，會看看到ifcfg-***的文件 用
2020-07-06 23:17:27
1
原创 IP及相關風控建模
轉載地址： http://www.sohu.com/a/162012568_470081 關於IP的一些冷知識： IP地址(本文中特指IPv4地址)，是用於標識網絡和主機的一種邏輯標識。依託於強大的TCP/IP協議，使得我們可以憑
2020-07-06 23:17:27
3
原创 支付牌照那些事
1. 爲何會有第三方支付公司： 最初，電子商務網站要提供支付功能就要跟每一家銀行簽訂協議，電子商務網站規模很小，銀行不願合作，衍生了第三方支付公司。 第三方支付公司上游與銀行合作，下游與電子商務使用者簽訂協議，第三方公司中間賺取手
2020-07-06 23:17:17
原创 解決TensorBoard看不到Graphs,以及graphs閃現消失問題
以Ubuntu操作系統爲例 直接在終端中進入到logdir的上一級目錄,在終端中輸入命令tensorboard --logdir = logfile 注意: logfile是存放log文件的目錄 在與logfile同根的目
2020-07-06 23:17:16
原创 實時反欺詐建設路徑及實踐
實時反欺詐建設路徑及實踐 1. 實時反欺詐體系 1. 事前:可信環境構建及識別 可信環境: 可信設備 可信賬戶 可信位置(IP,GPS等) 2. 事中:監控策略體系 規則監控 案件規則 規則模板 規則訓練 模型監控
2020-07-06 23:17:16
原创 2019電信網絡詐騙犯罪情況介紹
電信網絡詐騙犯罪情況介紹 來源:北京公安局反詐騙中心 1. 總體情況及特點 2018年全國刑事立案同比下降7.7%,但電信網絡詐騙立案數上升30%,形勢嚴峻; 犯罪類型多,手段變化快; 被騙羣體廣,社會危害大; 灰
2020-07-06 23:17:16
原创 Python中進程、線程、協程區別
Python中進程、線程、協程區別 多進程 適合密集CPU任務，充分利用多核CPU資源（大量的並行計算，循環計數運算） 缺點： 多個進程之間的通信成本和切換開銷很高，如果程序涉及到大量數據通信或切換任務，不適合用多進程 multi
2020-07-06 23:17:16
原创 百度網盤鏈接提取碼接口實現
通過pandownload，獲取接口 例如獲取以下百度網盤鏈接的提取碼 https://pan.baidu.com/s/1vlny0C5moLIu97GvBzVw7Q 從上圖分析js腳本,用python實現如下： def fin
2020-02-25 13:55:34
4
原创 反欺詐評分卡
一、評分卡目的 現金貸業務中，主要面臨兩種風險：信用風險和欺詐風險 信用風險： 借款人還款能力和還款意願進行評估，從而決定放款金額的大小，放款利率的大小 欺詐風險： 就是爲了騙錢不還，包括開始想還，後期不還 直接用規則做反欺詐，三
2019-09-16 09:27:46
原创 爬蟲獲取失信被執行人信息
失信被執行人信息 失信被執行人信息分兩部分： 個人信息出生月份及日期四位數是掩碼展示，本博文爬取的是原始的掩碼信息，如果想要進一步獲取到不含掩碼的個人身份信息，也不難，只是工作量大點而已 月份是01-12，日期根據月份拼接，需要
2019-09-10 09:54:26
原创 超參數調優方法
超參數調優方法網格搜索隨機搜索貝葉斯優化 超參數搜索算法一般包括以下要素： 目標函數，即算法需要最大化、最小化的目標； 搜索範圍，一般通過上限和下限來確定； 算法的其他參數 網格搜索 最簡單，應用最廣泛的超參數搜索算法 通過查
2019-09-05 09:18:28
1
原创 Spark集羣安裝
博主已經安裝好了三臺CentOS機器，且做好了靜態IP，也搭建好了Hadoop集羣及jdk環境，以此爲背景。 如果對以上不懂的，請查看博主之前的博客。 Spark集羣安裝1. 創建目錄，下載安裝包1. 創建spark目錄2. 下載
2019-09-03 08:59:55
原创 數據庫操作練習
CREATE TABLE students (sno VARCHAR(3) NOT NULL, sname VARCHAR(4) NOT NULL, ssex VARCHAR(2) NOT NULL, sbirthday DATE
2019-09-03 08:59:54