原创 spark使用總結--row_number使用和partial求多個字段均值

最近項目中用到spark做簡單的分析,總結下一些比較經典的用法。 一、窗口函數取分組後的第一條數據 第一條數據,可以是某個值最小最大等等,使用row_number和Window函數來實現。下面實列是獲取每個班級裏數學成績最低的記錄。其

原创 路由器NAT類型檢測

考慮到UDP的無狀態特性,目前針對其的NAT實現大致可分爲Full Cone、Restricted Cone、Port Restricted Cone和Symmetric NAT四種。值得指出的是,對於TCP協議而言,一般來說,目前N

原创 mp4格式詳解

之前剛接觸轉碼工作時,看到的一篇介紹mp4挺不錯的文章,轉載自:mp4文件格式解析 1、概述   最開始MP4指的是音頻(MP3的升級版),即MPEG-2 AAC標準。隨後MP4概念被轉移到視頻上,對應的是MPEG-4標準。而現在我們流行

原创 go開源項目學習--grpc

地址:https://github.com/grpc/grpc-go 一、安裝 先嚐試官方命令安裝: go get google.golang.org/grpc 結果報錯: package google.golang.org/grpc

原创 go開源項目學習--cache2go

地址:https://github.com/muesli/cache2go 主要特點: 1、併發安全,使用RWMutex鎖來保證併發執行 2、可設置過期時間,過期自動刪除 3、可設置操作的回調函數,如增加、刪除時的回調函數 主要結構和

原创 golang 學習總結1

1.golang字符串range時返回的類型爲rune 在某次測試時發現,string字符串,直接用下標訪問和用range訪問返回的類型不同,參看下面: func main () { str := "aA" fmt.Printf("

原创 從藍光到4K,騰訊視頻高碼率下載背後的技術

藍光和4k視頻正逐漸普及,4K視頻峯值碼率超10Mbit/s。架構平臺部TVideo平臺從資源,鏈路、緩存、接入進行調優,有效解決4k高碼率視頻的二次緩衝問題,播放體驗全面領先競品。 背景 隨着音視頻編解碼、超分辨率、VR/AR等技術的發

原创 centos7 mysql數據庫安裝和配置(mysql-server安裝失敗)

轉載自: http://www.cnblogs.com/starof/p/4680083.html。 因爲自己在用的時候安裝時遇到相同的問題。 centos7 mysql數據庫安裝和配置 一、系統環境 yum update

原创 一個非科班17屆畢業生的求職互聯網經歷(騰訊、美團、攜程等)

個人是2017屆某高校自動化專業研究生,正式準備是從二月底開始。因爲到四月底還在實習,所以三月四月花的時間也不是很多,主要看書時間是五六七八共四個月。 先總結一下,截止到2016年10月30號,內推收到offer的有,攜程、金蝶、科大訊飛

原创 排序算法大總結

前面在看STL源碼剖析時,發現自己對排序算法掌握得不好,遂花時間徹底的學習了一番,並做個全面的總結如下。 一.直接插入排序 插入排序的基本思想是:每步將一個待排序的紀錄,按其關鍵碼值的大小插入前面已經排序的文件中適當位置上,直到全部插入完

原创 Java Web實戰08-Spring、Spring MVC和Hibernate實現收銀機系統(XML版本)

前面參加一個公司的活動,做了一份收銀機系統的作業,當時時間緊,花費一天時間用Swing界面做的,比較簡單。代碼在GitHub:https://github.com/yefengzhichen/twTask。最近正好學習了Spring,以及

原创 Leetcode題目解答彙總

Leetcode題目解答彙總   斷斷續續的在leetcode上刷了一些題,每次遇到一時解決不了的都跳過了,以至於沒有完整的熟悉每個題。因此彙總在此,實時更新,方便繼續刷題以及後期回顧。 1、001 Two Sum: http://bl