写了一个简单的wordCount程序,本地可以运行的。打包提交到集群上就报错
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop1:9000/usr/hadoop/input/input.txt already exists
程序需要两个参数,输入和输出路径。报错说的是这个文件已存在,可是他报错的路径明明是我的输入路径啊。
仔细检查了代码,甚至重写了。本地还是可以运行,提交就是不对。仔细核对了参数还是没问题。
最后无赖的上传了一个没有依赖的jar包,没想到问题就解决了。之前上传的是有依赖的jar包。
虽然问题解决了,但还是想不通。。。。。。难道两份一样的包会产生冲突???
hadoop提交有依赖的jar包出错
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Opal 机器学习平台:爱奇艺数智一体化实践
01 綜述 Opal 是愛奇藝大數據團隊研發的機器學習平臺,包含特徵生產、樣本構建、模型訓練、模型部署在內的多環節 Bigdata + AI 開發服務,內置多種訓練鏡像、
愛奇藝技術產品團隊
2024-06-01 02:21:16
基于对比稀疏扰动技术的时间序列解释框架 ContraLSP
原創
2024-06-01 00:25:50
向量数据库引领 AI 创新——Zilliz 亮相 2024 亚马逊云科技中国峰会
原創
2024-05-30 21:25:17
金融反欺诈指南:车险欺诈为何如此猖獗?
原創
2024-05-30 00:16:51
智能测试持续加码,大模型引领软件测试新生态
原創
2024-05-25 02:07:17
图表控件LightningChart JS v5.2正式发布 - 全新的开发体验
原創
2024-05-23 12:20:12
风控指南:国内车险欺诈呈现四大趋势
原創
2024-05-23 12:16:45
安全分析:国内一些常见的汽车保险欺诈案件
原創
2024-05-22 00:17:52
5月21日相聚上海张江!与文心大模型一起共建大模型产业应用生态圈
原創
2024-05-17 00:28:21
白鲸开源CEO郭炜在2024 DataOps发展大会上获聘专家
原創
2024-05-16 11:28:50
2024数据标注公司20强排行榜(附榜单)
原創
2024-05-16 02:09:44
hadoop-2单节点和hive安装
原創
2024-05-24 23:51:33
DolphinScheduler 3.3.0版本更新一览
原創
2024-05-23 21:22:09
CDH配置Kerberos和Sentry详解
原創
2024-05-20 21:36:31