原创 pyspark讀取Mysql數據
pyspark讀取Mysql數據： 樣例code 1： from pyspark.sqlimportSQLContext sqlContext = SQLContext(sc) dataframe_mysql = sqlContext.
2020-06-28 09:25:02
原创 mapreduce JVM參數配置的問題
在mapred-site.xml中添加參數： <property> <name>mapreduce.map.java.opts</name> <value>1536</value> </property> <propert
2020-06-28 09:25:02
原创 hive和hbase集成
1. 檢查$HIVE_HOME/lib下有無如下jar包： guava-14.0.1.jar ,zookeeper.jar ,hive-hbase-handler.jar ,hbase-common.jar ,hbase-server.j
2020-06-28 09:25:02
原创 mysql字符串過濾掉HTML標籤的函數
CREATE DEFINER=`root`@`%` FUNCTION `strip_tags`($str text) RETURNS text CHARSET utf8 DETERMINISTIC BEGIN DE
2020-06-28 09:25:02
1
原创 python json的問題
1. vocab=fdist1.keys() TypeError: 'dict_keys' object is not subscriptable 修改爲：vocab = list(fdist1.keys()) 2. return js
2020-06-28 09:25:02
原创 tensorflow部署
1. 安裝 yum install -y python34 python3 get-pip.py pip3 install numpy pip3 i
2020-06-28 09:25:02
原创 metricbeat的使用
系統級監控 Metricbeat 用於從系統和服務收集指標。從 CPU 到內存，從 Redis 到 Nginx，Metricbeat 能夠以一種輕量型的方式，輸送各種系統和服務統計數據。 可以獲取系統級的 CPU 使用率、內存、文件系統、
2020-06-28 09:24:52
原创 flask框架中cache的配置
1. redis部署與設置 1.1 cd /home/user wget http://download.redis.io/releases/redis-4.0.8.tar.gz tar zxvf redis-4.0.8.tar.gz 1
2020-05-16 15:09:13
原创 Hadoop集羣重啓過程記錄
1. brain02~04啓動zk su - hadoop sudo service zookeeper-server restart 2. brain01~03啓動JN sudo service hadoop-hdfs-journal
2020-02-23 20:16:12
原创 GoCD部署
1. echo " [gocd] name = GoCD YUM Repository baseurl = https://download.gocd.org enabled = 1 gpgcheck = 1 gpgkey
2020-02-23 20:16:12
原创 matomo數據收集
1. 內容收集 https://developer.matomo.org/guides/content-tracking 例子： <div id="class1" class="class1" data-track-content dat
2020-02-23 20:16:12
原创 docker 部署 mysql8
1. docker pull mysql 2. mkdir -p /home/data/mysql/{conf,db} 3. cat >/app/data/mysql/conf/my.cnf<<EOF [mysqld] user=mysq
2020-02-23 20:16:12
原创 Phoenix部署和使用
1. 下載phoenix 查看hbase版本：1.2.6 比對版本，下載相關的Phoenix。 http://archive.apache.org/dist/phoenix/apache-phoenix-4.14.1-HBase-1.2/
2020-02-23 20:16:12
原创 部署matomo
1.CentOS 7使用yum安裝PHP5.6 1.1 刪除舊php包 yum remove php.x86_64 php-cli.x86_64 php-common.x86_64 php-gd.x86_64 php-ldap.x86_6
2020-02-23 20:16:12
14
原创 SCM部署集羣問題
Problem： could not contact scm server at 10.10.10.144:7182, giving up Check： 其他服務器 echo "quit" | nc -v 10.10.10.144 7
2020-02-23 20:16:12