原创 GitLab CI上傳

本文基於GitLab CI簡介 & GitLab CI使用 FTP Pure-FTPd sudo apt install -y pure-ftpd sudo pure-pw useradd admin -u op -d /home/o

原创 GitLab CI使用

本文基於GitLab CI簡介 本文的主線 項目 => 私鑰 => CI/CD => 多Runner 項目 這裏以基於Node的React爲例 cnpm i -g create-react-app create-react-a

原创 Hadoop搭建 之 單機模式

wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz tar xf hadoop-3.2.1.tar.gz && cd h

原创 Spark開發 之 RDD創建

本文基於Spark搭建 之 單機模式 目錄 並行集合 文件系統 Local HDFS 數據庫服務 MySQL Mongo Elasticsearch HBase 並行集合 /opt/services/spark/bi

原创 Spark開發 之 連接OSS

本文的示例代碼參考SparkOSS 目錄 環境 Maven Scala 開發 Project Package 環境 Maven mvn --version # Apache Maven 3.6.3 下載華爲源se

原创 GitLab CI簡介

本文的主線 GitLab => GitLab Runner => Project => 問題 GitLab wget --content-disposition https://packages.gitlab.com/gitlab/gi

原创 一個守護進程執行的問題

本文的主線 App => Shell => PM2 => Summary App vim demo.js var http = require('http'); function random(Min, Max) { var

原创 Spark搭建 之 單機模式

本文的主線 安裝 => 運行 => Spark-Shell 安裝 cd /opt/services/ wget https://mirror.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.7/

原创 Spark第一個應用

本文的主線 環境 => 開發 => 打包 => 提交 本文的示例代碼參考sparkapp 環境 cd /opt/services wget https://downloads.lightbend.com/scala/2.11.8/

原创 Spark搭建 之 Standalone集羣

本文的主線 系統 => 集羣 => 測試 本文基於Spark搭建 之 單機模式以及Spark第一個應用 系統 保證集羣ssh互通 hostname sudo hostname master # sudo hostname sla

原创 再談文件權限

本文的主線 準備 => setuid => sticky 準備 vim app.js var fs = require('fs') fs.writeFile('app.txt', 'hello node', function() {

原创 Cypress方案

對比 Cypress Puppeteer Selenium 語言 ★★★ JavaScript (Web必會語言) ★★★ JavaScript (Web必會語言) ★★★ Java、Python、Ruby (支持多種

原创 IaC簡介

本文的主線 DevOps => IaC => Terraform DevOps = Dev + Ops 現有開發&運維的問題 扔過牆頭(toss it over the wall) 配置漂移(configuration drift

原创 frp安裝

雲服務 wget https://github.com/fatedier/frp/releases/download/v0.34.3/frp_0.34.3_linux_amd64.tar.gz tar xf frp_0.34.3_linu

原创 Systemd簡介

本文的主線 環境 => 服務=> 概念 => 目錄 => 體系 環境 vagrant up pipenv run ansible-playbook playbooks/init.yml pipenv run ansible-play