原创 Airflow 配置celery+rabbitmq和celery+redis
Airflow 配置celery+rabbitmq 1、安裝celery和rabbitmq組件 pip3 install apache-airflow[celery] pip3 install apache-airflow[rabbi
2020-06-21 16:07:35
62
原创 CentOS7安裝Airflow
實驗環境： centos7 python3.6 安裝配置： 1.看看是否有gcc,沒有的話需要進行安裝： yum install gcc （後續安裝airflow如果不成功，可以再次執行，它會更新包）【這個很重要哦】 2.安裝腳本和依賴
2020-06-21 16:07:24
22
原创 Amabari-server start錯誤：Table 'ambari.metainfo' doesn't exist
最近在搭建Amabari大數據集羣，過程中也是幾經挫折，這裏主要來講一下amabari-start過程中的Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorExcepti
2020-06-21 16:07:24
1
原创 微服務概述
原文鏈接：https://blog.csdn.net/Soinice/article/details/83989225 本文是我在學習微服務時看的其他博主介紹的一篇概念文章，覺得寫得非常清晰全
2019-10-26 01:46:58
原创 Python如何import其它.py文件及其函數
如上圖所示，我想在test_1.py文件中import我在lstm_1.py中定義的LstmParam和 LstmNetwork。我直接採用的是最簡單的引用方法：from lstm_1 import LstmParam, LstmNet
2019-07-31 11:50:43
原创 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
轉自：https://www.cnblogs.com/ivictor/p/5142809.html 爲了加強安全性，MySQL5.7爲root用戶隨機生成了一個密碼，在error log中，關於error log的位置，如果安裝的是RPM
2019-06-11 05:39:54
1
原创 Hadoop完全分佈式環境下，DataNode進程正常啓動，但是網頁上不顯示DataNode節點
Hadoop完全分佈式環境下，上傳文件到hdfs上時報錯： 19/05/15 11:03:12 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.Remo
2019-06-11 05:39:54
1
原创 CentOS7安裝MySQL
1.安裝依賴 yum search libaio #檢索是否有對應庫 yum install -y libaio #安裝依賴包 2.檢查MySQL是否已經安裝 yum installed | gre
2019-06-11 05:39:54
原创 VMware安裝CentOS7的詳細過程
原文：https://www.jianshu.com/p/ce08cdbc4ddb?utm_source=tuicool&utm_medium=referral 本篇文章主要介紹了VMware安裝Centos7超詳細過程（圖文），具有
2019-05-06 23:38:38
原创 Spark-Streaming實時數據分析
1.Spark Streaming功能介紹 1）定義 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughp
2019-05-01 06:07:15
原创 Spark-HBase集成錯誤之 java.lang.NoClassDefFoundError: org/htrace/Trace
在進行Spark與HBase 集成的過程中遇到以下問題： java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.
2019-04-29 01:55:51
15
原创 Spark SQL快速離線數據分析
1.Spark SQL概述 1）Spark SQL是Spark核心功能的一部分，是在2014年4月份Spark1.0版本時發佈的。 2）Spark SQL可以直接運行SQL或者HiveQL語句 3）BI工具通過JDBC連接Spar
2019-04-29 01:55:51
2
原创 Spark2.X集羣運行模式
1.幾種運行模式介紹 Spark幾種運行模式： 1）Local 2）Standalone（Spark自己的集羣管理） 3）Yarn 4）Mesos（Spark初期支持） 下載IDEA並安裝，可以百度一下免費文檔。 2.spark St
2019-04-19 00:46:11
1
原创 Spark on Yarn運行錯誤：Yarn application has already ended! It might have been killed or unable to launch
Spark on Yarn模式運行錯誤： bin/spark-shell --master yarn --deploy-mode client #報錯 查看8088頁面上的工作日誌 錯誤原因：在執行任務時檢測到虛擬機的內存太小，2.
2019-04-19 00:46:11
5
原创 基於IDEA環境下的Spark2.X程序開發
1.Windows開發環境配置與安裝 下載IDEA並安裝，可以百度一下免費文檔。 2.IDEA Maven工程創建與配置 1）配置maven 2）新建Project項目 3）選擇maven骨架 4）創建項目名稱 5）選擇
2019-04-18 00:33:10