原创 Spark-實現自定義排序的六種方法(Scala版本)

原文鏈接:https://www.toutiao.com/i6845585556722680328/ 在實際開發中經常需要對數據進行排序統計,Spark的sortBy以及SortByKEy算子並不能完全適用開發場景,需要我們自定義排序規則

原创 Spark 實現分組topn排序 (scala版本)

四種方法實現分組排序 數據集格式: http://bigdata.edu360.cn/laoduan http://bigdata.edu360.cn/laoduan http://javaee.edu360.cn/xiaoxu htt

原创 Coursera普林斯頓大學算法下Week1: WordNet 字網

任務鏈接:http://coursera.cs.princeton.edu/algs4/assignments/wordnet.html 本次任務主要有三個類需要實現,WordNet、SAP、Outcast。其中,WordNet主要對單詞

原创 yarn啓動後自動關閉,JPS查看有resourcemanager,無resourcemanager

yarn-site.xml配置文件如下: <?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); yo

原创 java語言基礎入門——數組的介紹

爲什麼用數組?當處理類型相同的一組數據時,對每一個變量進行命名很是不方便,需要一個統一的代號來對這部分數據進行操作。 數組是什麼?數組是用來存儲一系列變量值的命名區域。 如何使用數組?遵循先聲明後使用的原則。第一步,聲明數組。例如:int

原创 java語言基礎入門——常用數組函數的使用

java語言類庫中集成了大量的函數方法,需要使用時直接調用即可,以數組的常用用法爲例,常會對數組進行排序,賦值等操作,如果每個人需要用到這些方法時都自己對函數實現一遍將非常的費時費力,因此java類庫中集合了對處理對象的一些常用方法,需要

原创 java語言基礎入門——本地文件操作

在java中,對物理存儲介質的文件和目錄進行了抽象,使用java.io.file類來代表存儲介質的文件和目錄。也就是說,在java中文件被File類的對象所表示,操作file對象即爲操作計算機本地的文件或目錄。 該類的基本用法可以通過AP

原创 java語言基礎入門——各類流的介紹

1、什麼是流?流是一個抽象的概念,代表一串數據集合,當java程序需要從數據源讀取數據時,就開啓了一個到數據源的流,同樣,當數據需要輸出數據到達目的地時,也需要開啓一個流。流是用來處理數據的通道。流有字節流,字符流;輸入流,輸出流。 2、

原创 java語言基礎入門——多線程

在說多線程之前,先說說什麼是單線程吧。單線程就是程序按照代碼書寫順序,函數調用順序,一步一步而往下執行,直到程序結束,例如下面這樣 package multi_thread; public class SingleThreaded {

原创 java語言基礎入門——內部類的介紹

什麼是內部類?內部類就是一個類的內部再去定義一個類,這個類作爲外部的一個屬性存在。其中,內部類作爲外部類的一個成員可以自由的訪問外部類中的屬性。而外部類不可以直接訪問內部類的屬性 內部類有四種存在方式:成員內部類、靜態內部類、局部內部類、

原创 java語言基礎入門——集合框架

1、集合可以理解爲一個動態的數組,這個數組長度可以任意擴充,存放內容爲類的對象,而不是基本類型。 2、其結構關係爲: Clloection------>List和Set ,List------------>Vector、ArrayList

原创 java語言基礎入門——泛型

什麼是泛型呢?泛型就是定義時(類的定義、方法的定義、形式參數的定義、成員變量的定義)不確切的指出他的類型,而是通過一個標識符表示他的類型。並且在創建的纔給出它的確切類型。打個比喻,泛型就好像大學課堂用於佔座的書一樣,桌子上有書代表這個座位

原创 java語言基礎入門——String、StringBuffer、StringBuilder的比較

在java中,一個string類的對象是常量,無法改變,無論是使用新的賦值還是“+”來對Sting對象進行操作,改變的都不是Sting對象的值,只是將變量的指針指向了新的對象。 如果程序中對字符串的操作很頻繁,就不建議使用“+”來進行操作

原创 java語言基礎入門——反射機制實例

1、什麼是反射呢?反射可以理解爲在程序運行時獲取對象類型信息的操作。它允許動態的發現和綁定類、方法、字段,甚至由其他語言產生的元素。運用反射可以做到列舉對象所對應的類的詳細信息,如訪問修飾符,包名,類名,繼承的父類和接口信息,以及類內部的

原创 java語言基礎入門——異常處理

爲什麼要進行異常處理?在程序設計中,錯誤通常分爲兩類,一類編譯錯誤,一類運行錯誤。編譯錯誤很容易被發現,而運行錯誤比較難發現,而異常就是一種運行錯誤。如果不處理好異常很可能會使程序運行時出錯崩潰。而異常也分爲兩種,受檢異常和非受檢異常。非