MR中的iterator與ArrayList的iterator區別以及用法

原創 qq_22796957 2019-03-09 13:01

背景：最近在寫MR程序時遇到一個奇怪的問題，利用iterator迭代器遍歷數據添加到List中時，保存在List中的元素都是最後遍歷的數據。

原因：因爲MR中的iterator.next()方法返回的是數據的引用，每次向List中添加都是把引用傳入而ArrayList中的iterator.next()方法返回的是數據，所以纔會導致如上情況。

解決：每次迭代重新創建一個對象加入List中即可。

List源碼：

MR中源碼：

 

 

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

MapReduce提交job到Yarn的流程學習

引言 以MapReduce爲例，提交一個MapReduce application的大致流程如下，其中Resource Manager簡寫爲RM，Node Manager簡寫爲NM，Application Master簡寫爲AM。 Top

magicchu 2020-06-18 22:43:49

MR 筆記三

Shuffle機制 map階段處理的數據如何傳遞給reduce階段，是MapReduce框架中最關鍵的一個流程，這個流程就叫shuffle。shuffle: 洗牌、發牌——（核心機制：數據分區，排序，分組，combine，合併等過程）  

新手路上的程序员 2020-07-04 06:18:36

MR 筆記二

1.Writable接口 在MR中使用對象 創建對象時需要實現Writable接口中的write()和readFields()方法  反序列化方法讀順序必須和寫序列化方法的寫順序必須一致 2.MapTask運行機制詳解   詳細步驟：

新手路上的程序员 2020-07-04 06:18:36

MR 筆記五

1.InputFormatInputFormat常見子類包括: TextInputFormat （普通文本文件，MR框架默認的讀取實現類型） KeyValueTextInputFormat（讀取一行文本數據按照指定分隔符，把數據封裝爲kv

新手路上的程序员 2020-07-04 06:18:36

MR 筆記一

1.MapReduce編程規範及示例編寫 Mapper類     用戶自定義一個Mapper類繼承Hadoop的Mapper類     Mapper的輸入數據是KV對的形式（類型可以自定義）     Map階段的業務邏輯定義在map()方

新手路上的程序员 2020-07-04 06:18:36

MR 筆記四

1.MapReduce中的Combiner 1. Combiner是MR程序中Mapper和Reducer之外的一種組件 2. Combiner組件的父類就是Reducer 3. Combiner和reducer的區別在於運行的位置

新手路上的程序员 2020-07-04 06:18:36

hololens初識

  概述   Hololens的特性   空間映射   場景匹配   自然交互   通用應用   缺點   環境搭建   系統   硬件   GPU   軟件環境   概述   Hololens是微軟公司開發的

Munger_6688 2020-06-30 07:03:40

Hadoop 3.1.1 本機WINDOWS操作系統跑mr時報錯Exception in thread "main" java.lang.UnsatisfiedLinkError

這兩天在升級hadoop版本到3.1.1，遇到一個報錯也是在網上找了半天的解決方案，特記錄一下 我之前把的hadoop版本是2.7.3在跑mr作業時是正常的，後面爲了調試3.1.1的版本升級了jar的版本，然後就一直報下面的錯： Exce

zhushulikm 2020-06-29 01:54:19

HCE

hadoop概念 Hadoop系統提供了MapReduce計算框架的開源實現，像Yahoo!、Facebook、淘寶、中移動、百度、騰訊等公司都在藉助Hadoop進行海量數據處理。Hadoop系統性能不僅取決於任務調度器的分配策略，還

love others as self 2020-06-19 14:12:00

記一個hive1.2.1 orc 事務表不能正常提交合並任務的問題

正常情況下，hive通過 CompactionTxnHandler中的findPotentialCompactions 方法獲取需要合併的表信息，如下所示，會分別掃描COMPLETED_TXN_COMPONENTS和 TXNS, TXN_

彼岸枫雪非 2020-06-17 03:44:51

大數據Hadoop之MR TopN案例

1．需求 對輸入數據進行加工，輸出流量使用量在前10的用戶信息 （1）輸入數據 13470253144 180 180 360 13509468723 7335 110349 117684 13560439638 918 4938

语言决定未来。 2020-06-14 11:16:56

Hadoop生態之MapReduce工作機制二(七)

一、MapReduce程序的打包運行過程：  1> 選中待打包項目，右鍵選擇菜單export，導出項目  2> 點擊Next進行下一步操作，選擇需要打包的類，輸入導出jar包的名稱和路徑。(可以報lib包去掉，集羣上包含的有mr的依賴包

ansap 2020-06-11 04:31:54

Idea開發調試MapReduce的wordCount

好久沒搞了。來複習一下，首先我們嘗試本地開發調試 首先我跟着有位博主的步驟出發： https://blog.csdn.net/programmer_wei/article/details/45286749 然後報了一個錯誤： Except

彼岸枫雪非 2020-06-08 18:53:37

Hive on Mr Job重複執行問題排查

文章目錄一、問題描述二、問題排查進度三、Hive執行任務的具體邏輯3.1、Hive源碼解析3.2、生成重複job問題分析四、問題總結和代碼修復 一、問題描述 業務反饋某張表的落地數據總大小比平時多了一倍。 平時正常落地6-7G，而

疯狂哈丘 2020-06-08 12:28:51

[記錄]Hololens部署時vs報錯：缺少Win10SDK

在打包UWP後，用VS部署，報了一個缺少SDK“WindowsMobile  version 10.0.17134.0”的錯誤 我以爲是vs的win10sdk沒有安裝成功的錯誤，在qq羣求助，百度之後，我反覆卸載/安裝/調試 vs2015

天朝炼药大师·休 2020-06-06 22:21:19