原创 Hadoop實戰【二、MapReduce+自定義數據類型】
一、合久必分——MapReduce HDFS是hadoop的雲存儲，而MapReduce即是hadoop雲計算。MapReduce採用”分而治之“的思想，把對大規模數據集的操作，分發給一個主節點管理下的各分節點共同完成，然後通過整合各分節
2020-07-02 11:43:52
原创 Python+Selenium初入殿堂
碼字不易，轉發請註明出處：http://blog.csdn.net/qq_28945021/article/details/53538704 前言 近期接到編寫一個自動化測試web項目的腳本任務，由於需要兼容IE，因此只能選擇S
2020-07-02 11:43:52
1
原创 Redis學習日誌【三、jedis+struts2】
上次熟悉了jedis的使用，接下來慢慢的將struts2，spring框架加上去，更加熟練使用。這次我們寫一個簡單的用redis實現的點贊功能。用redis實現點贊並非只是因爲點贊好做。而是點贊這種操作簡單，但是高併發嚴重的操作，
2020-02-22 18:32:13
原创 redis學習日誌【二、redis+jedis】
現今redis是大體上有3種基於java語言的客戶端開發包： Jredis Jedis Redis4J 其中Jedis是官方唯一提供的java語言客戶端開發包，且應該是應用最爲廣泛的。 那便開始實戰吧。 一、包的準備。 我使用
2020-02-22 18:32:13
原创 VMware Tools for linux安裝
想必很多人都是用虛擬機玩linux或者Ubuntu。那VM Tools實現主機與虛擬機間自由拖拽的功能之方便肯定人人都需要。 博主就是爲了玩轉Ubuntu，去研究了VM TOOLS的安裝。 那麼我們開始。 一、首先找到VMware Wor
2020-02-22 18:32:13
原创 redis學習日誌 【一、安裝】
redis，一種Nosql數據庫。Nosql的出現意在解決關係型數據庫的諸如：大量數據寫入時的耗時長，字段不固定時操作麻煩，難以快速返回簡單查詢的結果等缺陷而應運而生的。 而雖然Nosql能解決關係型數據的一系列缺陷。然而並不是“No
2020-02-22 18:32:13
原创 Scala學習日誌（二）——深入模式匹配（一）
碼字不易，轉發請註明出處：http://blog.csdn.net/qq_28945021/article/details/51984620 摘要 Scala模式匹配咋一看和Java中的Switch語句很相似，然而在Java中，只能匹配簡
2018-09-04 22:31:41
原创 Scala學習日誌（1.5）——自適應類型
碼字不易，轉發請註明出處：http://blog.csdn.net/qq_28945021/article/details/52087381 自適應類型 在使用scala開發時。程序員們會驚喜的發現在大多數情況下他們再也無需提供冗餘的類型
2018-09-04 22:31:41
原创 Storm簡單使用——一舉入門
轉發請註明出處：http://blog.csdn.net/qq_28945021/article/details/52912142 主體 剛開始學習Storm發現這個流式處理框架還是比較容易理解與使用的。也許是我剛開始學習吧。這篇博客可能
2018-09-04 22:31:41
2
原创 用Java理解Spark算子之Transformation算子
前言 RDD算子分類，大致可以分爲兩類，即： Transformation：轉換算子，這類轉換並不觸發提交作業，完成作業中間過程處理。 Action：行動算子，這類算子會觸發SparkContext提交Job作業。 因爲Action
2018-09-04 13:03:18
原创 spark1.6.1及scala2.11.8安裝配置
首先，安裝spark之前需要安裝配置的軟件有：JDK，Scala,ssh,Hadoop這些開發平臺的安裝配置在我之前的博客中都有詳細的攻略，需要的請去看看。 hadoop安裝配置 再此提一句，無論是hadoop，hbase，hive，s
2018-09-04 13:03:18
原创 R語言入門之創建數據集——向量、矩陣、數組、數據框和列表
碼字不易，轉發請註明出處：http://blog.csdn.net/qq_28945021/article/details/52100765 摘要 隨着大數據的火爆發展，適合數據分析及生成圖表的R語言也在“最受歡迎的編程語言”中上升到了1
2018-09-04 13:03:18
原创 WebCollector初探——微博信息爬取
廢話板塊 做大數據怎麼沒有數據呢？對於我們，數據的來源便是爬蟲。其實博主之前自己基於HTTP協議寫過一個小的爬蟲。所以更加明白要處理去重，解析頁面。解決各種各樣的小麻煩，和觸發js，跳過防爬蟲機制是有多麼的令人鬧心。所幸。有一羣無私的人創
2018-09-04 13:03:18
原创 深入Java集合類
最近想吧Java的底層爬得深一些，一方面是爲了在日後使用的時候能夠選擇最合適的方法，二來也是爲了能對Java有更加深厚的理解。在研究的過程中，會將所研究得成果寫成博客記錄起來，也是對自己的學習進行總結。已經有了提綱。接下來需要做的就是循序
2018-09-04 13:03:17
原创 Scala學習日誌——一切從使用開始
摘要 Scala，被稱爲可伸展的語言。由於其的完全面向對象性卻又融合函數式編程，使其代碼十分優美，簡潔。他可以用寥寥幾行就完成在Java中大量代碼才能完成的操作。且簡單易懂，有效的增強代碼的可讀性，並減少出錯的可能。由於近年來大數據方便S
2018-09-04 13:03:17