原创 4.2docker基礎詳細版--docker依賴的內核特性

docker依賴的內核特性 docker依賴於Linux的兩個內核特性: Namespaces:命名空間 Control groups(cgroups):控制組 Namespaces 命名空間提供了一種系統資源的隔離,包括了文件系統、網絡

原创 11.Spark性能調優之資源分配

 性能優化王道就是給更多資源!機器更多了,CPU更多了,內存更多了,性能和速度上的提升,是顯而易見的。基本上,在一定範圍之內,增加資源與性能的提升,是成正比的;寫完了一個複雜的spark作業之後,進行性能調優的時候,首先第一步,我覺得,就

原创 1.yarn調度器(容量調度器、公平調度器、先進先出調度器)

點贊 收藏 分享 文章舉報 挨踢正能量 發佈了13 篇原創文章 · 獲贊 25 · 訪問量 5萬+ 私信 關注

原创 Spark Streaming + Kafka 入門實例

初學Spark Streaming和Kafka,直接從網上找個例子入門,大致的流程:有日誌數據源源不斷地進入kafka,我們用一個spark streaming程序從kafka中消費日誌數據,這些日誌是一個字符串,然後將這些字符串用空格分

原创 IDEA:Error:java: Compilation failed: internal java compiler error 解決辦法

報錯信息: 報錯原因: 項目中Java版本不一致,可以查看項目中的jdk配置 1、查看項目的jdk(Ctrl+Alt+shift+S) File ->Project Structure->Project Settings ->Projec

原创 7.1docker官網入門-容器與應用(上)---最重要

容器與應用 (1)容器與應用: 講述 centos docker的安裝,倉庫、鏡像、容器、服務的概念, dockerfile,compose 文件,容器管理圖形界面,以單機操作爲主線。 (2)Docker Swarm 集羣:講述集羣(c

原创 3.docker基礎(濃縮版)

(一)Docker Hello World Docker 允許你在容器內運行應用程序, 使用 docker run 命令來在容器內運行一個應用程序。 輸出Hello world runoob@runoob:~$ docker run u

原创 5.Docker小練習:下載含有python環境的 image,並且安裝jupyter notebook,最終可以在頁面上進行python開發

需求:下載含有python環境的 image,並且安裝jupyter notebook,最終可以在頁面上進行python開發(基於centos) 1.因爲鏡像庫默認是國外的源,下載很慢甚至會失敗,所以我們配置成國內的源 # vi

原创 8.docker使用問題總結

docker使用問題總結 1. docker報【Error response from daemon: Error running DeviceCreate (createSnapDevice) dm_task_run failed】錯

原创 7.3附:docker 集羣網絡規劃與 VM 網絡配置

docker 集羣網絡規劃與 VM 網絡配置 【摘要】使用 K8s(Kubernetes)或 docker swarm 都需要 pc 或 vm 的集羣,網絡規劃是開始工作的第一步。本文目標是在單機上使用 VirtualBox 創建 Cen

原创 7.2docker官網入門-Docker Swarm 集羣(下)---最重要

Docker Swarm 集羣 (1)容器與應用: 講述 centos docker的安裝,倉庫、鏡像、容器、服務的概念, dockerfile,compose 文件,容器管理圖形界面,以單機操作爲主線。 (2)Docker Swarm

原创 7.5附:VirtualBox 安裝 Centos 7 筆記

VirtualBox 安裝 Centos 7 筆記 使用最新的版本總是要折騰半天,也給人帶來許多新玩意。因爲偶爾使用Linux,就需要使用虛擬機(雖然有點慢)。裝ubuntu似乎out了,改用Centos 7 吧!Contos 7 安裝,

原创 9.docker常用命令&&學習網站&&常用軟件的安裝

以下是此頁面上的基本 Docker 命令列表,以及一些相關命令(如果您要在繼續之前進行進一步探索)。 docker build -t friendlyname .# 使用此目錄的 Dockerfile 創建鏡像 docker run -

原创 7.6附:Oracle 在 多個Virtualbox 虛擬機間 跨不同物理宿主機進行通信

因爲單位網絡管理的原因,不太方便使用 Virtualbox 的Bridge Adapter 模式,故此欲採用NAT模式,不對外不暴露虛擬機IP。 但是此時會有一個問題:採用NAT模式後,在通常情況下, 從外面看,或者從物理機來看,此虛擬機

原创 6.Portainer容器管理工具

一、什麼是Portainer? Portainer是Docker的圖形化管理工具,提供狀態顯示面板、應用模板快速部署、容器鏡像網絡數據卷的基本操作(包括上傳下載鏡像,創建容器等操作)、事件日誌顯示、容器控制檯操作、Swarm集羣和服務等集