hadoop fs -getmerge命令的使用

原創 heipacker 2020-02-21 12:07

假設在你的hdfs集羣上有一個/user/hadoop/output目錄

裏面有作業執行的結果（多個文件組成）part-000000,part-000001,part-000002


然後你想把所有的文件合攏來一起看 可以使用命令：hadoop fs -getmerge /user/hadoop/output local_file


然後就可以在本地使用vi local_file查看內容了

heipacker
發佈了52 篇原創文章 · 獲贊 3 · 訪問量 14萬+
私信 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

k3d創建集羣並暴露traefik端口

1. 安裝docker curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun   2. 安裝k3d wget -q -O - https://raw.githu

原創 2024-04-24 21:13:26

Centos清空歷史命令

在Linux（centos）中，在終端中運行的所有命令都會存儲在主目錄中名爲 .bash_history 的文本文件中。這個時候可以通過使用 history 命令來顯示系統自您啓動會話以來輸入的所有命令的列表。出於某種原因，有時候想要從Li

原創 2024-04-16 21:52:56

中間件漏洞攻防學習總結

前言 面試常問的一些中間件，學習總結一下。以下環境分別使用vulhub和vulfocus復現。 Apache apache 文件上傳 (CVE-2017-15715) 描述: Apache(音譯爲阿帕奇)是世界使用排名第一的Web服務器

原創 2024-04-09 22:46:34

Linux系統用戶登錄時的環境加載順序

Linux系統中有時會遇到一些登陸初始化故障，會阻止用戶進入系統（比如ETX無法打開桌面）或者導致某些工具運行失敗（LSF bsub任務是無法完成初始化），所以瞭解Linux系統用戶登錄時的環境加載順序，對debug和解決如上問題是很有幫助

原創 2024-04-07 23:52:25

知名壓縮軟件 xz 被植入後門，黑客究竟是如何做到的？

昨天，Andres Freund 通過電子郵件告知 oss-security@ 社區，他在 xz/liblzma 中發現了一個隱藏得非常巧妙的後門，這個後門甚至影響到了 OpenSSH 服務器的安全。Andres 能夠發現並深入調查這個問題

原創 2024-04-02 21:14:35

aws 零停機部署腳本

腳本 #!/bin/bash logdir="/var/log/deploy" logfile="$logdir/qa.log" if [ ! -d "$logdir" ]; then mkdir $logdir fi target

原創 2023-10-26 23:09:28

linux文件批量更新名稱

linux文件批量更新名稱 腳本示例 更新已{uuid}_xxx.*的文件名爲{uuid}.* #!/bin/bash UPLOAD_DIR=/data/amsfiles/upload/ LOG_FILE=log_$(date +%Y%m%

原創 2023-10-07 13:42:09

Node.js 20 —— 幾個令人大開眼界的特性

前言：歡迎來到 Node.js 20 Node.js 20 已經發布，帶來了創新和激動人心的新時代。這個開創性的版本於2023年4月18日首次亮相，並將在2023年10月發佈長期支持（LTS）版本，並且將持續支持至2026年4月，下面小編就

原創 2023-09-20 22:50:54

如何清理並刷新 DNS

[toc] 在互聯網上的每一個計算機都擁有一個唯一的地址，稱作「IP地址」（即互聯網協議地址），其中： IPv4 使用 32位地址，採用點分十進制（dotted-decimal）表示法，例如 192.168.0.1。 IPv6 使用128

原創 2023-07-26 01:40:18

centos安裝nodejs,nginx

# yum安裝Nginx #添加Nginx 源 rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.

原創 2023-07-17 10:35:29

Webviz本地構建

安裝環境依賴 sudo apt-get update sudo apt-get install build-essential libssl-dev 安裝Node版本管理工具NVM curl -o- https://raw.githubu

原創 2023-07-14 00:15:04

Linux搭建ClickHouse集羣環境

部署規格 部署clickhouse需要同一內網的機器三臺，本文將以三臺VM虛擬機172.30.129.171（以下稱爲171）、172.30.129.172（以下稱爲172）、172.30.129.173（以下稱爲173）三臺機器爲示例演示

原創 2023-07-06 23:05:12

蘋果電腦如何使用adb鏈接安卓手機

首先確認你的電腦安裝了 JDK 查看安裝的目錄 /usr/libexec/java_home -V V 是大寫 這裏需要注意 直接使用蘋果的brew安裝 ruby -e "$(curl -fsSL https://cdn.jsdeli

原創 2023-03-31 00:29:27

Git服務器搭建簡明教程

Git服務器搭建簡明教程 2. git人工部署。1. 開發人員本地 - git push -> github/gitee 2. 使用ssh終端登錄服務器 git pull -> 服務器 3. git自動化部署。開發人員本地 -git pus

原創 2023-03-28 01:41:19

Hive引擎底層初探

1、什麼是Hive Hive是一個基於Hadoop的數據倉庫工具,用於處理和分析大規模結構化數據。Hive提供了類似SQL的查詢語言(HiveQL)，使得熟悉SQL的用戶能夠查詢數據。Hive將SQL查詢轉換爲MapReduce任務，以在

原創 2024-04-17 11:18:21