原创 使用pyinstaller生成exe可執行文件
pyinstaller可將python腳本打包成可執行文件exe，從而擺脫python環境。 1.下載pyinstaller pip installer pyinstaller 2.進入到 pyinstaller的安裝路徑下，執行
2020-06-13 07:56:13
原创 Shell腳本的基本操作
0.創建shell腳本 ，及運行方法 創建：vim xxx.sh 腳本的第一行爲： #/bin/bash 運行： bash xxx.sh 1.變量的定義 #！/bin/bash #變量的定義 #注意：不能像其他編程
2020-06-13 07:56:02
1
原创 樹莓派製作電視盒子---國內部分m3u8直播源
使用樹莓派製作電視盒子時常常需要自己尋找一些m3u8的直播源 自己整理的一些.m3u8直播源 #EXTM3U #EXTINF:-1,星空衛視 http://222.207.48.30/hls/startv.m3u8 #EXTINF:-
2020-06-13 07:56:02
3
原创 kafka掃盲篇
1.kafka是什麼？ kafka是一個消息中間件，是一種分佈式消息發佈--訂閱系統。它的作用可以通過一個例子來粗略理解： 例：有兩個角色，生產者---用於生產雞蛋、消費者---消費雞蛋，生產者直接把生產的雞蛋提供給消費者，考慮幾個情景：
2020-06-13 07:56:02
原创 sparkstreaming下的第一個word count程序（python版）
首先從socket中讀取數據，然後通過sparkstreaming統計輸入的單詞個數 1.通過下面命令開啓端口（報錯則需安裝 nc） nc -lk 9999 2.編寫sparkstreaming.py代碼 from pyspark i
2020-06-13 07:56:02
1
原创 劍指offer python版 part2
1.輸入兩棵二叉樹A，B，判斷B是不是A的子結構。（ps：我們約定空樹不是任意一個樹的子結構） # -*- coding:utf-8 -*- # class TreeNode: # def __init__(self, x):
2020-06-13 07:56:02
原创 劍指offer python版 part1
1.在一個二維數組中（每個一維數組的長度相同），每一行都按照從左到右遞增的順序排序，每一列都按照從上到下遞增的順序排序。請完成一個函數，輸入這樣的一個二維數組和一個整數，判斷數組中是否含有該整數。 # -*- coding:utf-8
2020-06-13 07:56:02
原创 Spark二次排序、自定義排序
//spark進行二次排序 先按第一列排，相等情況下按第二列排 class SecondarySortKey(val first:Int,val second:Int) extends Ordered[SecondarySortKey
2020-06-13 07:56:02
原创 大數據面試題整理
算法部分 1、給定一個大文件(即無法一次性加載到內存中，以下的大文件均爲該定義)，每行代表一個訪問IP，統計出現次數最多的IP。 1)逐行讀取數據，並將數據映射(如取模)到N個小文件中； 2)以IP爲Key，頻率爲Value，
2020-02-24 18:11:47
原创 Markdown的基本用法
Markdown語法 1.標題 一級標題用 ‘#’ + 空格+標題名 二級標題用 ‘##’ + 空格+標題名 三級四級標題以此類推 這是一級標題 這是二級標題 這是三級標題 2.列表 無縮進時： ‘*’
2020-02-22 21:08:07
原创 Ubuntu下如何用Intellij Idea運行scala及scala版spark
廈門大學數據庫實驗室 點贊 收藏 分享 文章舉報 donger__chen 發佈了58 篇原創文章 · 獲贊 18 · 訪問量 4萬+ 私信
2020-02-22 21:07:56
原创 scala面向對象基礎
scala面向對象 1、類的定義 class 類名{ //變量 val … var … //定義方法 def 方法名(參數) : 返回類型 = {函數體} } 2、getter和setter
2020-02-22 21:07:56
原创 Pyspark 導入第三方包報錯
pyspark導入第三方包的方式 在spark-submit時添加參數 --py-files spark-submit --py-files 文件1或py文件1,zip文件2或py文件2（多個文件用,分開） 在sparkCon
2020-02-22 21:07:56
原创 scala函數基礎
scala函數 1、函數的定義 def 函數名(參數列表):返回值數據類型={函數體} def add(x:Int,y:Int):Int={x + y} val 函數名:(參數類型) => 返回值類型 = {(參數) = >
2020-02-22 21:07:56
原创 Git連接GitHub
假設已經在本地裝好了git，也創建了GitHub賬號 1.先在GitHub創建一個倉庫 2.在本地創建一個新文件夾 mkdir gitfile cd gitfile 3.使用git init 初始化一個倉庫 4.初始化個人
2020-02-22 21:07:56