hadoop fs -getmerge命令的使用

原創 heipacker 2020-02-21 12:07

假设在你的hdfs集群上有一个/user/hadoop/output目录

里面有作业执行的结果（多个文件组成）part-000000,part-000001,part-000002


然后你想把所有的文件合拢来一起看 可以使用命令：hadoop fs -getmerge /user/hadoop/output local_file


然后就可以在本地使用vi local_file查看内容了

heipacker
发布了52 篇原创文章 · 获赞 3 · 访问量 14万+
私信 关注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Docker 使用 CentOS 镜像

使用 docker run 直接運行 CentOS 7 鏡像，並登錄 bash。   C:\Users\yhu>docker run -it centos:centos7 bash Unable to find image 'c

原創 2024-05-15 11:11:36

利用pyinstaller打包Python程序为一个可执行文件

有時，Python發佈的程序需要被打包爲一個文件夾、甚至一個文件發佈。 目前（2020）最佳的策略是使用pyinstaller。 pyinstaller不僅支持打包整個運行環境到一個可執行文件，而且還支持加密。 但唯一的問題是，必須依賴

osc_hwc3munb 2024-05-14 02:04:34

k3d创建集群并暴露traefik端口

1. 安裝docker curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun   2. 安裝k3d wget -q -O - https://raw.githu

原創 2024-04-24 21:13:26

Centos清空历史命令

在Linux（centos）中，在終端中運行的所有命令都會存儲在主目錄中名爲 .bash_history 的文本文件中。這個時候可以通過使用 history 命令來顯示系統自您啓動會話以來輸入的所有命令的列表。出於某種原因，有時候想要從Li

原創 2024-04-16 21:52:56

中间件漏洞攻防学习总结

前言 面試常問的一些中間件，學習總結一下。以下環境分別使用vulhub和vulfocus復現。 Apache apache 文件上傳 (CVE-2017-15715) 描述: Apache(音譯爲阿帕奇)是世界使用排名第一的Web服務器

原創 2024-04-09 22:46:34

Linux系统用户登录时的环境加载顺序

Linux系統中有時會遇到一些登陸初始化故障，會阻止用戶進入系統（比如ETX無法打開桌面）或者導致某些工具運行失敗（LSF bsub任務是無法完成初始化），所以瞭解Linux系統用戶登錄時的環境加載順序，對debug和解決如上問題是很有幫助

原創 2024-04-07 23:52:25

知名压缩软件 xz 被植入后门，黑客究竟是如何做到的？

昨天，Andres Freund 通過電子郵件告知 oss-security@ 社區，他在 xz/liblzma 中發現了一個隱藏得非常巧妙的後門，這個後門甚至影響到了 OpenSSH 服務器的安全。Andres 能夠發現並深入調查這個問題

原創 2024-04-02 21:14:35

aws 零停机部署脚本

腳本 #!/bin/bash logdir="/var/log/deploy" logfile="$logdir/qa.log" if [ ! -d "$logdir" ]; then mkdir $logdir fi target

原創 2023-10-26 23:09:28

linux文件批量更新名称

linux文件批量更新名稱 腳本示例 更新已{uuid}_xxx.*的文件名爲{uuid}.* #!/bin/bash UPLOAD_DIR=/data/amsfiles/upload/ LOG_FILE=log_$(date +%Y%m%

原創 2023-10-07 13:42:09

Node.js 20 —— 几个令人大开眼界的特性

前言：歡迎來到 Node.js 20 Node.js 20 已經發布，帶來了創新和激動人心的新時代。這個開創性的版本於2023年4月18日首次亮相，並將在2023年10月發佈長期支持（LTS）版本，並且將持續支持至2026年4月，下面小編就

原創 2023-09-20 22:50:54

如何清理并刷新 DNS

[toc] 在互聯網上的每一個計算機都擁有一個唯一的地址，稱作「IP地址」（即互聯網協議地址），其中： IPv4 使用 32位地址，採用點分十進制（dotted-decimal）表示法，例如 192.168.0.1。 IPv6 使用128

原創 2023-07-26 01:40:18

centos安装nodejs,nginx

# yum安裝Nginx #添加Nginx 源 rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.

原創 2023-07-17 10:35:29

Webviz本地构建

安裝環境依賴 sudo apt-get update sudo apt-get install build-essential libssl-dev 安裝Node版本管理工具NVM curl -o- https://raw.githubu

原創 2023-07-14 00:15:04

Linux搭建ClickHouse集群环境

部署規格 部署clickhouse需要同一內網的機器三臺，本文將以三臺VM虛擬機172.30.129.171（以下稱爲171）、172.30.129.172（以下稱爲172）、172.30.129.173（以下稱爲173）三臺機器爲示例演示

原創 2023-07-06 23:05:12

Hive引擎底层初探

1、什麼是Hive Hive是一個基於Hadoop的數據倉庫工具,用於處理和分析大規模結構化數據。Hive提供了類似SQL的查詢語言(HiveQL)，使得熟悉SQL的用戶能夠查詢數據。Hive將SQL查詢轉換爲MapReduce任務，以在

原創 2024-04-17 11:18:21