原创 使用hive實現wordcount

1.創建數據 cd data vi wc 2.上傳數據 hdfs dfs -put wc /usr/ 3.創建外部表(先有數據後有表) 4.創建結果表 5.寫結果 6.查詢結果

原创 LVS-DR模型試驗

1.準備3臺虛擬機    node 01作爲lvs的負載均衡服務器;node 2和node 3作爲real server;瀏覽器作爲客戶端來實現DR模型來做負載。    node01的192.168.75.101就是DIP,node 2和

原创 愛奇藝dpvs部署以及遇到的問題總結(失敗)

今天試着在suse服務器上的centOS系統部署dpvs,是按照github的教程一步一步來進行的:https://github.com/iqiyi/dpvs 記錄一下完整的過程以及中間遇到的坑。 第一步: $ git clone ht

原创 suse12+nginx通過反向代理實現負載均衡

同學用四臺服務器分別搭了四個靜態頁面作爲後端的web,這裏記錄一下一臺nginx作反向代理的配置過程。 cd / cd usr/local/nginx/conf vi nginx.conf 在nginx的配置文件中,進行如下配置:

原创 一塊金條切成兩半,是需要花費和長度數值一樣的銅板的。比如長度爲20的金條,不管切成長度多大的兩半,都要花費20個銅板。一羣人想整分整塊金條,怎麼分最省銅板。

例如,給定數組{10,20,30},代表一共三個人,整塊金條長度爲10+20+30=60。金條要分成10,20,30三個部分。 如果,先把長度60的金條分成10和50,花費60。再把長度50的金條分成20和30,花費50。一共花費110銅

原创 將單向鏈表按某值劃分成左邊小,中間相等,右邊大的形式

【題目】 給定一個單向鏈表的頭節點head,節點的值類型是整型,再給定一個整數pivot。實現一個調整鏈表的函數,將鏈表調整爲左部分都是值小於 pivot的節點,中間部分都是值等於pivot的節點,右部分都是值大於pivot的節點。除這個

原创 劍指offer--隨時找到數據流的中位數

有一個遠遠不斷的吐出整數的數據流,假設你有足夠的空間來保存吐出的數,請設計一個名叫MedianHolder的結構,MedianHolder可以隨時去的之前吐出所有數的中位數。 要求:1.如果MedianHolder已經保存了吐出的N個數,

原创 問題:本地主機無法通過ip地址訪問linux的nginx服務器

今天在centos上安裝好Nginx後,啓動Nginx服務,通過電腦本地瀏覽器訪問不到界面,出現錯誤。 這種情況下,一般是Linux系統的防火牆需要配置,把所需要訪問的網絡端口開放出去。  查看如下: 通過vi編輯器,打開iptable

原创 計算機網絡原理一 概述

        這是是看了西安交大的計算機網絡原理公開課的筆記。這裏的計算機網絡和我們平時用到的一些應用是有差別的,因爲平時我們平時是站在用戶的角度去使用網絡的,而這裏是作爲網絡的設計者,分析者來研究網絡的。有把網絡比喻爲“信息的高速公路

原创 阿里lvs+fullnet之內核編譯(二)(失敗)

先準備好要用到的包: kernel-2.6.32-220.23.1.el6.src.rpm Linux-2.6.32-220.23.1.el6.x86_64.lvs.src.tar.gz Linux-2.6.32-220.23.1.el6

原创 你最後獲得的最大錢數

輸入: 參數1,正數數組costs 參數2,正數數組profits 參數3,正數k 參數4,正數m costs[i]表示i號項目的花費; profits[i]表示i號項目在扣除花費之後還能掙到的錢(利潤) ;k表示你不能並行、只能串行的最

原创 阿里lvs+fullnet之內核編譯(三)成功

上一篇在make之後出了很多錯誤,原因是內核版本不匹配,今天我們把centos 7降爲了centos 6,對應的內核版本就是kernel-2.6.32-220.23.1.el6.src.rpm。然後還是按照(二)的過程執行到 make,沒

原创 人臉業務場景

 一 人臉業務場景綜述 判斷是否存在人臉,如果存在人臉則定位到人臉的位置(標準的目標檢測問題:針對人臉目標) 姿態和表情的變化 不同人的外觀差異 光照,遮擋的影響 不同視角 不同大小,位置 人臉標註方法--矩形標註 傳統方法都是用一個矩形

原创 4.20美的面試

三月底到四月初一直在筆試,一家都沒通過,本來已經放棄找實習了準備秋招了。3月18號投的美的研發技術類的計算機大數據崗,4月17號的時候突然接到面試預約通知,於是預約了20號下午四點,也就是最後一場。18號19號就暫停了一切學習計劃,專心突

原创 論文閱讀《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》

LightGBM:一種高效的梯度提升決策樹 摘要: 梯度提升決策樹(GBDT)是一種流行的機器學習算法,並且有很多有效的實現,如XGBoost和pGBRT。 儘管在這些實現中已經採用了許多工程優化,但是當特徵維度高且數據量大時,效率和可伸