原创 Scala中的偏應用函數與Curry函數
偏應用函數 有時候一個函數在特殊應用場景下部分參數可能會始終取相同的值，爲了避免每次都提供這些相同的值，我們可以用該函數來定義一個新的函數。 若保留部分參數，則使用 _:參數類型 代表；注意參數類型必須標記； 若保留全部參數，則使
2020-06-28 01:26:48
原创 Scala類構造器
Scala類構造可以使用無參構造，也可以使用有參構造；可以默認的構造器，也可以使用多個輔助構造器 無參構造 類定義 class Person{ def greet(): Unit ={ println("你
2020-06-28 01:26:48
原创 Scala中規約操作reduce與fold函數
規約操作是對容器的元素進行兩兩運算，將其“規約”爲一個值。 常用的規約方法有reduce和fold，兩個方法唯一的差別是， reduce是從容器的兩個元素開始規約，而fold則是從提供的初始值開始規約。 同樣地，對於無序容器而言，
2020-06-28 01:26:48
1
原创 Scala中過濾操作filter與filterNot函數
Scala中有很多實現不同過濾需求的方法，與過濾操作相關的幾個常用函數還包括exists和find。 其中，exists方法判斷是否存在滿足給定條件的元素，find方法返回第一個滿足條件的元素。 filter 最典型的是filte
2020-06-28 01:26:48
原创 Scala文件讀寫
Scala讀文件使用scala.io模塊，寫文件使用java.io模塊 寫文件 import java.io.PrintWriter @Test def testFileI(): Unit ={
2020-06-28 01:26:48
原创 Scala中Option類
Scala中提供null值，但儘量避免使用，除非要與Java交互。 Scala中可以使用Option來判斷是否有值，若值存在則爲Some[T]，若值不存在則爲None， 可以通過isEmpty和isDefined判斷是否有值。
2020-06-28 01:26:48
原创 Scala中拆分操作partition、grouped、groupBy和sliding函數
拆分操作是把一個容器裏的元素按一定的規則分割成多個子容器。 常用的拆分方法有partition、groupBy、grouped和sliding。 partition partition方法接受一個布爾函數，用該函數對容器元素進行遍
2020-06-28 01:26:48
1
原创 Spark與MapReduce對比優勢
表達能力 MapReduce需要將所有計算轉換爲Map和Reduce，難以描述複雜處理過程； Spark除Map和Reduce外，還支持RDD/DataFrame/DataSet等多種數據模型操作，編程模型更加靈活。 磁盤IO M
2020-06-28 01:26:48
1
原创 Hadoop生態系統各組件功能
參考： Spark編程基礎（Scala版） 林子雨 賴永炫 陶繼平 人民郵電出版社出版 2018-07-01 1.HDFS 分佈式文件系統 Hadoop分佈式文件系統HDFS是針對谷歌分佈式文件系統（Google Fil
2020-06-28 01:26:48
原创 Scala中映射操作map與flatMap函數
映射操作是針對容器的典型變換操作，通過對容器中的元素進行某些運算來生成一個新的容器。 兩個典型的映射操作是map方法和flatMap方法，二者區別簡而言之在與map直接處理容器內單個元素，flatMap會將元素進一步打碎處理。 m
2020-06-28 01:26:48
原创 Python中列表的集合運算
集合運算 集合的運算操作包括交集、並集、差集、補集，其中補集不適用於列表。 交集 無重複元素的列表 使用set進行交集計算。 1. 使用&計算 lis1,lis2=[1,2],[1] print(list(set(lis1) &
2020-06-19 23:30:11
原创 DRUID數據庫連接池
阿里出品，淘寶和支付寶專用數據庫連接池，但它不僅僅是一個數據庫連接池，它還包含一個ProxyDriver，一系列內置的JDBC組件庫，一個SQL Parser。支持所有JDBC兼容的數據庫，包括Oracle、MySql、Derby
2020-06-19 17:30:01
原创 FastAPI學習-Json兼容性編碼
當需要將json數據轉換爲list/dict等數據類型時，我們需要使用json兼容性編碼模塊jsonable_encoder模塊 from datetime import datetime from fastapi import
2020-06-19 17:30:01
原创 Scrapy+MongoDB+FastAPI搭建免費IP代理池接口
目標設定 爲方便後期爬蟲部署，以免因頻繁訪問被封IP，構造獲取免費IP代理的接口 解決思路 數據爬取 數據源選取提供免費IP代理的網站，使用Scrapy進行爬取（5分鐘一次），使用SpiderKepper進行部署管理。 數據校驗
2020-06-19 15:38:29
原创 Oracle使用多核並行提高存過效率
問題場景 因爲電信業務面向全國，經常要在oracle中定時處理全國30多個省份的數據，量級雖然不算太大隻有幾百萬的基站或小區相關位置數據，但由於涉及到大量的空間拓撲分析，單條數據處理都在秒級，如果一次性處理的話，不僅速度難以忍受，
2020-06-19 15:38:29