原创 什麼是反函數？
定義解釋圖解： 推導過程： 原函數的導數等於反函數導數的倒數。 設y=f(x),其反函數爲x=g(y), 可以得到微分關係式：dy=(df/dx)dx ,dx=(dg/dy)dy . 那麼,由
2019-09-26 17:26:58
原创 Pycharm新建模板默認添加作者時間等信息
文字描述： 1.打開pycharm，選擇File-Settings 2.選擇Editor--Color&Style--File and Templates--Python-Script 3.填加 #-*- coding: utf-8
2019-09-16 17:58:29
1
原创 深度學習500問[深度學習總流程]（下載資源連接）
網址： https://github.com/scutan90/DeepLearning-500-questions/ 目錄： 深度學習500問，以問答形式對常用的概率知識、線性代數、機器學習、深度學習、計算機視覺等熱點問題進行闡述
2019-09-15 18:05:58
原创 如何在博客園首頁設置卡通人物
第一步：點擊管理 第二步：點擊設置，然後添加代碼，保存 在本頁面，找到博客側邊欄公告（支持HTML代碼）（支持JS代碼） <!DOCTYPE html> <html lang="en"> <head> <meta char
2019-09-10 04:31:46
3
原创 Spark名詞解釋
名稱 概念詳解 Application/App 就是程序員寫的Spark代碼,包括運行在Driver端的代碼和運行在Executor端的代碼 Driver 程序中編寫的main方法和創建SparkContext的代碼 SparkCont
2019-09-09 18:03:49
1
原创 K、KB、M、MB、G、GB、TB、T之間的轉化
1KB==1024B 1024字節(Byte)==1KB 1024KB==1MB 1024MB==1GB 1024GB=1TB 簡寫： Byte=B KB=K MB=M GB=G TB=T
2019-09-07 18:02:50
原创 SparkStreaming原理
官網介紹 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stre
2019-09-05 04:12:39
原创 如何讓自己成爲大數據開發工程師？
首先：相關技術對應官網。 幾乎所有的博客論壇，都是在對官網進行解釋說明，有的可能解說的還是錯的，而且不同人使用軟件版本不一樣，相關的API的源碼也可能官網已經做出來相關的修改。只有自己看官網，纔是最靠譜的。如果你完成公司的業務，再把相關
2019-09-04 18:06:31
原创 Spark SQL讀取json文件
1.數據文件 使用spark安裝包下的json文件 more /export/servers/spark/examples/src/main/resources/people.json 2.在spark shell執行下面命令
2019-09-03 17:29:05
原创 Spark SQL創讀取文本文件
1.在本地創建一個文件，有id、name、age三列，用空格分隔，然後上傳到hdfs上. vim /root/person.txt 1 zhangsan 20 2 lisi 29 3 wangwu 25 4 zhaoliu 30 5
2019-09-03 17:29:05
原创 Spark操作開窗函數
準備工作： 聚合開窗函數 OVER 關鍵字表示把聚合函數當成聚合開窗函數而不是聚合函數。 SQL標準允許將所有聚合函數用做聚合開窗函數。 OVER(PARTITION BY class)表示對結果集按照 class 進行分區，並
2019-09-03 17:29:05
原创 基於spark的單詞計數統計
單詞計數： 直接查看官網： http://spark.apache.org/examples.html 小案例，自己再次基礎上進一步的實現，我用了兩種語言實現 主要文件： words.txt: hello me hello you
2019-09-02 17:55:19
原创 RDD的緩存/持久化
緩存的目的是? 提高效率,當我們對某些數據頻繁使用的時候,就可以把他放到Redis緩存中,這樣後續的讀取效率就很高 緩存查看：（） 查看源碼： 繼續查看： 繼續查看（底層調用參數）： StorageLevel.MEMOR
2019-09-02 17:55:19
原创 sqlserver、mysql、oracle各自的默認端口號
sqlserver默認端口號爲：1433 URL:"jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=dbname" DRIVERNAME:"com.microsoft.jdb
2019-09-02 17:55:19