原创 spark常用功能：使用Spark計算數列統計值
參考 ： 先來回顧一下數據和對應的統計結果： 本文使用的是iris分類數據集，數據下載地址爲： http://archive.ics.uci.edu/ml/datasets/Iris 下載後轉換爲xlsx格式的文件，數據如下： 對應的統計結
2019-09-15 12:53:12
原创 hive常用功能：Hive數據導入導出方式
作爲數據倉庫的Hive，存儲着海量用戶使用的數據。在平常的Hive使用過程中，難免對遇到將外部數據導入到Hive或者將Hive中的數據導出來。今天主要就來學習一下Hive的幾種數據導入和導出的方式。 一、Hive數據導入方式 這裏主要介紹四
2019-09-15 12:53:12
2
原创 震驚！不需hadoop環境運行scala和pyspark程序
Databricks官方是這樣描述Databricks優勢的： 像Databricks這樣的雲平臺提供了一套集成的、主機託管的解決方案，消除了企業採用Spark和確保大數據項目成功所面臨的這三大障礙。我們爲你提供了全面管理和調
2019-05-22 12:53:19
3
原创 mysql分號分割開字段。拆分
問題-： mysql如何進行以,分割的字符串的拆分分割開逗號 分號的字段。其他字段自動補齊。 https://blog.csdn.net/u012009613/article/details/52770567 SELECT s.* f
2019-05-14 12:52:33
原创 keras基於CNN和序列標註的對聯機器人
動手 #“對對聯”，我們可以看成是一個句子生成任務，可以用seq2seq完成分析 #然而，我們再細想一下就會發現，相對於一般的句子生成任務，“對對聯”有規律得多：1、上聯和下聯的字數一樣；2、上聯和下聯的每一個字幾乎都有對應關係。如此一來，
2019-03-14 12:51:47
原创 正則表達式
下圖列出了Python支持的正則表達式元字符和語法： 1 -1 Python通過re模塊提供對正則表達式的支持。使用re的一般步驟是先將正則表達式的字符串形式編譯爲Pattern實例，然後使用Pattern實例處理文本並獲得匹配結果（一
2019-02-22 13:05:58
原创 python進階
5、and 和 or and返回第一個假值，如果都爲真，返回最後一個真值。 or返回第一個真值，如果都爲假，返回最後一個假值。 複製代碼 >>> a = "first" >>> b = "second" >>> 1 and a or
2019-02-22 13:05:58
原创 maxmini極大極小搜索 α-β剪枝
https://www.cnblogs.com/hhh5460/p/7082112.html?from=singlemessage&isappinstalled=0 python 井字棋（Tic Tac Toe） _ 讀懂極大極小搜索和α
2018-09-21 02:48:23
原创 XGBoost 參數說明
XGBoost使用key-value字典的方式存儲參數：params = { 'booster': 'gbtree', 'objective': 'multi:softmax', # 多分類的問題 'num_cla
2018-09-11 09:30:00
9
原创 PGSQL創建自增的id-- postgresql nextval 使用
-- 這裏的"test"專指postgre中的表空間(模式)，默認的表空間是"public" DROP SEQUENCE if EXISTS "test"."testseq_id_seq"; CREATE SEQUENCE "tes
2018-09-10 02:13:58
原创 深入MNIST，手寫數字，加cnn
from __future__ import print_function import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data
2018-09-10 02:13:58
原创 奧維ovobj 文件，轉化爲shp文件，再變sql文件導入到pgsql裏
先變 KML 文件。 再用 QGIS的矢量 變成 shp文件。 ** 最後 。 shp2pgsql -W utf8 -s 4326 /home/manbug/ningbo/NB.shp ningbo_524>/home/manb
2018-09-10 02:13:58
原创 MongoDB-pymongo.errors.CursorNotFound: Cursor
python, python3.先從數據庫中取得所有數據 db['test'].find（{}，{_id:0}），然後對結果進行for循環 demos = db['demo'].find({},{"_id": 0}) for cursor
2018-09-10 02:13:58
原创 TensorFlow基本原理，入門教程網址
TensorFlow TensorFlow™ 是一個採用數據流圖（data flow graphs），用於數值計算的開源軟件庫。 節點（Nodes）在圖中表示數學操作，圖中的線（edges）則表示在節點間相互聯繫的多維數據數組，即張量（te
2018-09-10 02:13:58
原创 爬蟲的Chrome插件推薦
【1】Toggle JavaScript 這個插件可以幫助我們快速直觀地檢測網頁裏哪些信息是通過AJAX異步加載而來的，具體怎麼用，下面會詳細講解。chrome商店下載地址：https://chrome.google.com/webstor
2018-09-10 02:13:58