原创 Hive表txt文件導入

---- 建表格式 USE databasename; CREATE TABLE CiiFcst_hotel_forecast_result_type_test( masterhotel int COMMENT '酒店ID', ciiqu

原创 scala-spark版本xgboost包使用

//  XGBOOST測試 //調用形式 //  /opt/app/spark-1.6.1/bin/spark-shell --master yar

原创 在Excel中使用SQL語句實現數據處理

Step1:給表定義名稱 步驟如下:選中表格區域--右鍵—定義名稱……-- 分別給定名稱:Table_a、Table_b,如下: Table_a 編號 姓名 武力值 1 素還真 90 2 一頁書 98

原创 pandas方法to_csv生成的數據導入hive方法彙總

step0:建表語句(hive腳本) USE databasename; CREATE TABLE OrderQuantity_Forecast_Table(      masterhotel int COMMENT '酒店ID',  

原创 Hive技能

一、動態分區 舉例: set hive.exec.dynamic.partition=true; set hive.exec.dynamic.par

原创 基於Python的Xgboost模型實現

# -*- coding: utf-8 -*- """ Created on Mon Nov 28 13:22:08 2016 @author: y

原创 Linux定時調用之crond

一、crond介紹 crond是一個Linux下的定時執行工具,可以在無需人工干預的情況下運行作業。 crond 是Linux的內置服務,但它不自動起來,可以用以下的方法啓動、關閉這個服務: /bin/systemctl status c

原创 機器學習中的數學(4)-線性判別分析(LDA), 主成分分析(PCA)

版權聲明:     本文由LeftNotEasy發佈於http://leftnoteasy.cnblogs.com, 本文可以被全部的轉載或者部分使用,但請註明出處,如果有問題,請聯繫[email protected] 前言:    

原创 Vim常用操作

1、開始一個新行 "o"命令在光標下方建立一個新的空行,並把vim切換到插入模式。 "O"命令(大寫)在光標上方打開一個新行.  2、指定計數  在命令前加一個數字 3、退出 "ZZ":保存文件並退出; ":q!":放棄修改並退出;

原创 XGBoost參數調優完全指南(附Python代碼)

譯註:文內提供的代碼和運行結果有一定差異,可以從這裏下載完整代碼對照參考。另外,我自己跟着教程做的時候,發現我的庫無法解析字符串類型的特徵,所以只用其中一部分特徵做的,具體數值跟文章中不一樣,反而可以幫助理解文章。所以大家其實也可以小小

原创 Scala DataFrame生成技巧

case1:List()到DataFrame()的簡單轉化 //step1:我們首先創建一個case class case class result

原创 python郵件自動發送

case 1:純文本和HTML文件發送 # -*- coding: UTF-8 -*- import smtplib import traceback from email.mime.text import MIMEText from e

原创 python爬蟲:編寫多進程爬蟲學習筆記

# -*- coding: utf-8 -*- """ Created on Sat Oct 22 21:01:23 2016 @author: hhxsym """ import requests import json impor

原创 如何在google瀏覽器過濾廣告

     用google瀏覽器網頁各個角落的廣告,讓人不勝其煩,尋得google一插件-廣告終結者,因在線應用商店無法連接,便採用離線安裝的方式安裝,問題最終得到解決。 主要步驟如下: step1:下載廣告終結者插件:Advertisin

原创 win10上Anaconda 多版本共存與tensorflow安裝

當前環境:win10, Anaconda2,Python2.7 目標:在不影響當前軟件環境下,安裝tensorflow    目前TensorFlow在Windows下只支持Python 3.5版本,而我係統上只裝有python2.7。而