原创 mac 環境下 hadoop與spark環境搭建
環境搭建 想必之前搭建Hadoop環境的Windows系統的相對繁瑣步驟，Mac下顯得簡單不少。 雖然我們需要搭建的是Spark環境，但是因爲Spark依賴了Hadoop的HDFS以及YARN計算框架，當然還有類似軟件包管理軟件。 安裝前
2020-07-07 23:21:56
1
原创 spark採用foreach方法向下遊寫數據導致mysql報警問題記錄
爲了統計數據庫中某一字段動態變化量，採用定時採集數據的方式，每半小時採集一次動態數據，每天統一彙總推送到hadoop文件系統中，每月採用spark分佈式計算動態數據的變化規律，並寫入數據庫中，以便監控數據庫中數據變化趨勢。
2020-07-07 23:21:55
1
原创 記錄一次spark本地運行時的org.apache.hadoop.io.nativeio.NativeIO問題
最近換了新的電腦，好久不用的win10系統，安裝了maven，jdk，idea之後，從git上下載了代碼庫，希望可以本地調試運行spark代碼，安裝好系統環境後，代碼可以運行起來了，代碼就是很簡單的將系統字符存儲到當前文件中，代碼
2020-07-07 23:21:55
1
原创 停車預測未來展望
真值： 車流信息獲取，某一區域開始導航數量，結束導航數量 作爲停車容易、停車難的真值 用戶反饋信息，正負樣本比例適中 對於中心城區，這種方式比較好 特徵： 用戶 家和公司、常住點 不同用戶對待同
2020-07-07 23:21:55
原创 xgboost在spark集羣使用指南
XGBoost是一個優化的分佈式梯度增強庫，具有高效、靈活和可移植性。在梯度增強框架下實現了機器學習算法。XGBoost提供了一種並行樹增強(也稱爲GBDT、GBM)，可以快速、準確地解決許多數據科學問題。相同的代碼在主要的分佈式
2020-05-12 09:48:50
原创 geotools之jts使用指南
最近項目中遇到了需要將很多小的多邊形合併成一個大多邊形的場景，經過調研，可以使用的方法有兩種，一種是geotools，一種是postgis數據庫，因爲是業務場景中使用，並且可能會有其他業務需求，所以採用強大的工具類庫geotoo
2020-04-20 06:31:39
原创 如何判斷一個點是否在多邊形之內
背景： 在做POI特徵處理的過程中，需要用到環路特徵，即計算某一個POI點是否在已經圈定好的環路之內，地圖環路信息在百度地圖虎鯨數據管理平臺手動繪製，平臺地址http://lbsyun.baidu.com/data/v4/myda
2020-02-22 09:37:28
原创 MacOS平臺上編譯 hadoop 3.1.2 源碼 cmake no matching function for call to 'getgrouplist'問題解決
在編碼過程中遇到的問題總結： 問題1 ：cmake 函數庫變更引起的問題： 問題描述： [WARNING] /Users/wyx/Downloads/hadoop-rel-release-3.1.1/hadoop-yarn-projec
2019-09-02 22:58:05
原创 spark環境搭建
環境搭建 想必之前搭建Hadoop環境的Windows系統的相對繁瑣步驟，Mac下顯得簡單不少。 雖然我們需要搭建的是Spark環境，但是因爲Spark依賴了Hadoop的HDFS以及YARN計算框架，當然還有類似軟件包管理軟件。 安裝前
2019-08-22 22:13:27
原创 python向influxdb寫入數據
python版本：3.6 influxdb版本：1.5.2 使用python的influxdb庫插入數據 from influxdb import InfluxDBClient class TestInflux(object):
2019-07-10 00:19:10
1
原创 如何在matlab中做出標籤頁的效果
我們經常需要在matlab上做一個上面的標籤效果，推薦使用一個matlab的控件TabPanel Constructor，下載地址是http://www.mathworks.com/matlabcentral/fileexch
2018-09-01 20:30:41
原创 局部敏感哈希(local sensitive hash,LSH)
高維數據檢索（high-dimentional retrieval)是一個有挑戰的任務。對於給定的待檢索數據（query），對數據庫中的數據逐一進行相似度比較是不現實的，它將耗費大量的時間和空間。這裏我們面對的問題主要有兩個，第一，兩
2018-09-01 20:30:40
1
原创 openfire好友管理
一、用戶添加刪除好友是發送Presence包，由PresenceSubscribeHandler和IQRosterHandler處理 <iq id="fDsuy-48" type="set"><query xmlns="jabber:iq
2018-09-01 20:30:40
原创 windows XP下安裝Python2.7及其安裝包的方法
1、下載安裝 Python python-2.7.2.msi http://www.python.org/download/ 因爲python的download有敏感的關鍵字，所以被中國給和諧了。 但是python有個祕密的ftp，
2018-09-01 20:30:40
原创 在linux下python安裝rpy2 包
1.按照上一篇文檔安裝python，pip等 2.下載R文件到本地，編譯 R 時需要指定 --enable-R-shlib wget http://ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2
2018-09-01 20:30:40