原创 InfluxDB-InfluxQL基礎語法教程--WHERE子句
本文翻譯自官網，官網地址：(https://docs.influxdata.com/influxdb/v1.7/query_language/data_exploration/) WHERE子句 語法： SELECT_clause F
2020-04-28 09:27:10
原创 InfluxDB-InfluxQL基礎語法教程--OFFSET 和SOFFSET子句
本文翻譯自官網，官網地址：(https://docs.influxdata.com/influxdb/v1.7/query_language/data_exploration/) OFFSET 和SOFFSET對返回的points和ser
2020-04-28 09:27:10
1
原创 InfluxDB-InfluxQL基礎語法教程--INTO子句
本文翻譯自官網，官網地址：(https://docs.influxdata.com/influxdb/v1.7/query_language/data_exploration/) 通過INTO子句，可以將用戶的查詢結果插入到用戶指定的m
2020-04-28 09:27:10
原创 Spark on yarn模式
1.配置 安裝Hadoop：需要安裝HDFS模塊和YARN模塊，spark運行時要把jar包放到HDFS上。 安裝Spark：不需要啓動Spark集羣，在client節點配置中spark-env.sh添加JDK和HADOOP_CONF_D
2020-02-24 17:37:45
原创 spark-submit 參數
1、基礎： spark基本的提交語句： ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \
2020-02-24 17:37:45
原创 使用Spark SQL讀取Hive上的數據
Spark SQL主要目的是使得用戶可以在Spark上使用SQL，其數據源既可以是RDD，也可以是外部的數據源（比如Parquet、Hive、Json等）。Spark SQL的其中一個分支就是Spark on Hive，也就是使用Hive
2020-02-24 17:37:45
原创 java ssh（jsch）實戰
1.maven環境jar包引入 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>
2020-02-24 17:37:45
原创 Spark（五）Spark任務提交方式和執行流程
一、Spark中的基本概念 （1）Application：表示你的應用程序 （2）Driver：表示main()函數，創建SparkContext。由SparkContext負責與ClusterManager通信，進行資源的申請，任務的分
2020-02-24 17:37:45
原创 Hadoop HDFS 搭建 Hadoop YARN 搭建
Hadoop HDFS 搭建 https://blog.csdn.net/qq_24505127/article/details/80397571 Hadoop YARN 搭建 https://blog.csdn.net/qq_24505
2020-02-24 17:37:45
原创 Spark Yarn 提交作業
初學Spark時，部署的是Standalone模式（集成了HA），寫的測試程序一般創建上下文時如下： 此處master設置爲管理節點的集羣地址（spark webui上顯示的地址） 。 之後將測試代碼打包成jar包，上傳到服務器，使用
2020-02-24 17:37:45
原创 Hadoop YARN中web服務的REST API介紹
Hadoop YARN自帶了一系列的web service REST API，我們可以通過這些web service訪問集羣(cluster)、節點(nodes)、應用(application)以及應用的歷史信息。根據API返回的類型，這
2020-02-24 17:37:45
原创 jsch教程（用java ssh 操作spark yarn任務）
Shell形式： package com.spark.demo.sub.spark; import java.io.BufferedReader; import java.io.InputStream; import java.io.
2020-02-24 17:37:45
3
原创 Spark on Yarn 環境搭建
本文記錄Spark on Yarn的集羣環境的搭建，並通過通過SparkPi實例程序來測試集羣。在搭建本集羣之前必須先搭建好Hadoop集羣，搭建Hadoop集羣請參考：Hadoop集羣環境搭建（三臺）. 主要內容： 安裝Spark
2020-02-24 17:37:45
原创 yarn application命令介紹
1、-list 列出所有 application 信息 示例：yarn application -list2、-appStates <States> 跟 -list 一起使用，用來篩選不同狀態的 app
2020-02-24 17:37:45