Hadoop分佈式環境（集羣）搭建

原創 a阿飞 2020-06-15 05:20

分佈式環境：多個服務器運行Hadoop各個進程

 

  • 實驗環境

主機名

主機IP

角色

操作系統

master

192.168.3.154

NameNode

CentOS 7.6

slave1

192.168.3.155

DataNode

CentOS 7.6

slave2

192.168.3.156

DataNode

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

數智教育創新如何向未來？騰訊雲與你探索革新之路

引言   隨着科技革命的快速發展，掀起教育領域的變革，新理念、新技術、新模式、新應用正不斷湧現，正塑造着教育的未來形態。未來科技還將如何賦能教育創新？   5月31日，由騰訊雲TVP 與西安電子科技大學聯合舉辦的「數智教育的創新與技術融合

原創 2024-06-14 11:45:25

【運維技巧】海豚調度工作流實例卡在正在停止&任務實例卡在正在運行怎麼辦？

在大數據調度系統中，，大家可能會碰到任務實例狀態更新不及時的情況。 對於Apache DolphinScheduler用戶來說，這可能意味着前端顯示的任務狀態與實際情況不一致，即使任務已經在後臺停止運行，前端仍顯示爲"正在運行"。 這種現

原創 2024-06-13 21:22:20

首批！華爲雲盤古研發大模型通過代碼大模型評估，獲當前最高等級

本文分享自華爲雲社區《首批！華爲雲盤古研發大模型通過代碼大模型評估，獲當前最高等級》，作者： 華爲雲頭條。 近日，在中國信通院組織的首輪代碼大模型評估中，華爲技術有限公司的華爲雲盤古研發大模型最終獲得4+級，成爲國內首批通過該項評估的企業之

原創 2024-06-13 10:57:02

深度解讀數據庫引入LLVM技術後如何提升性能

GaussDB作爲企業級的數據庫，經過了多年的技術發展，具備豐富的技術特性，使用LLVM技術後提升了系統的查詢性能，使得開發者在OLAP和OLTP多場景中均受益。 Hi，別急！讓技術觸達每一個角落，賦能更多的人，GaussTech第3期

原創 2024-06-12 10:56:55

ClickHouse內幕（1）數據存儲與過濾機制

本文主要講述ClickHouse中的數據存儲結構，包括文件組織結構和索引結構，以及建立在其基礎上的數據過濾機制，從Part裁剪到Mark裁剪，最後到基於SIMD的行過濾機制。 數據過濾機制實質上是構建在數據存儲格式之上的算法，所以在介紹過濾

原創 2024-06-07 23:54:51

一文搞懂DevOps、DataOps、MLOps、AIOps：所有“Ops”的比較

引言 近年來，"Ops"一詞在 IT 運維領域的使用迅速增加。IT 運維正在向自動化過程轉變，以改善客戶交付。傳統的應用程序開發採用 DevOps 實施持續集成（CI）和持續部署（CD）。但對於數據密集型的機器學習和人工智能（AI）應用，精

原創 2024-06-07 14:08:38

JimuReport 積木報表 v1.7.5 版本發佈，免費的JAVA報表工具

項目介紹 一款免費的數據可視化報表工具，含報表和大屏設計，像搭建積木一樣在線設計報表！功能涵蓋，數據報表、打印設計、圖表報表、大屏設計等！ Web 版報表設計器，類似於excel操作風格，通過拖拽完成報表設計。 秉承“簡單、易用、專業”

原創 2024-06-07 01:13:43

營銷系統黑名單優化：位圖的應用解析

背景 營銷系統中，客戶投訴是業務發展的一大阻礙，一般會過濾掉黑名單高風險賬號，並配合頻控策略，來減少客訴，進而增加營銷效率，減少營銷成本，提升營銷質量。 營銷系統一般是通過大數據分析建模，在CDP（客戶數據平臺，以客戶爲核心，圍繞數據融

京東雲開發者 2024-06-06 11:54:12

跨越雲端，華爲雲技術專家分享高效跨雲遷移實踐

本文分享自華爲雲社區《【華爲雲Stack】【大架光臨】第18期：跨越雲端，華爲雲Stack的高效跨雲遷移實踐》，作者： 大架光臨。 1 背景 在企業雲化的浪潮中，混合多雲已經是企業IT部署的新常態，虛擬機承載的業務佔據很大的比重。在上雲

原創 2024-06-06 10:56:54

高效啓動DolphinScheduler工作流：Java URL調用詳解

轉載自牛肉胡辣湯 在大數據分析和處理的領域中，DolphinScheduler是一個開源的分佈式工作流調度系統，可以用於調度和管理複雜的工作流任務。本文將介紹如何使用Java中的URL類來調用DolphinScheduler的API，實現啓

原創 2024-06-04 21:21:59

【數智化人物展】白鯨開源CEO郭煒：大模型時代下DataOps驅動企業數智化升級

本文由白鯨開源CEO郭煒投遞並參與由數據猿聯合上海大數據聯盟共同推出的《2024中國數智化轉型升級先鋒人物》榜單/獎項評選。 隨着大數據、人工智能技術的飛速發展，我們已邁入了一個全新的時代------大模型時代。在這個時代背景下，企業提高

原創 2024-06-04 21:21:58

Opal 機器學習平臺：愛奇藝數智一體化實踐

  01 綜述 Opal 是愛奇藝大數據團隊研發的機器學習平臺，包含特徵生產、樣本構建、模型訓練、模型部署在內的多環節 Bigdata + AI 開發服務，內置多種訓練鏡像、

愛奇藝技術產品團隊 2024-06-01 02:21:16

基於對比稀疏擾動技術的時間序列解釋框架 ContraLSP

開篇 近日，由阿里雲計算平臺大數據基礎工程技術團隊主導，與南京大學、賓夕法尼亞州立大學、清華大學等高校合作，解釋時間序列預測模型的論文《Explaining Time Series via Contrastive and Locally

原創 2024-06-01 00:25:50

向量數據庫引領 AI 創新——Zilliz 亮相 2024 亞馬遜雲科技中國峯會

2024年5月29日，亞馬遜雲科技中國峯會在上海召開，此次峯會聚集了來自全球各地的科技領袖、行業專家和創新企業，探討雲計算、大數據、人工智能等前沿技術的發展趨勢和應用場景。作爲領先的向量數據庫技術公司，Zilliz 在本次峯會上展示了最新的

原創 2024-05-30 21:25:17

金融反欺詐指南：車險欺詐爲何如此猖獗？

青島市人民檢察院在其官方微信公衆號上發佈的梁某保險詐騙案顯示，2020 年以來，某汽修廠負責人梁某、某汽車服務公司負責人孫某，與保險公司的趙某等人相互勾結，收購二手北汽等品牌新能源汽車，併爲這些車輛購買車損險。隨後，他們利用暴雨天氣，故意製

原創 2024-05-30 00:16:51