原创 SparkStreaming讀取Kafka讀取記錄問題。
有個業務，Spark程序需要讀取Kafka，然後寫入Redis上，Spark任務運行在Yarn集羣上，由於沒有開通網絡策略，無法定位Spark在yarn節點上的運行情況和日誌。總是報錯誤，中間有Redis和Kafka的報錯Log，找人看了
2018-12-25 20:03:40
2
原创 ActiveMQ集羣，高可用搭建。
系統使用Zookeeper，levelDB，ActiveMQ，使用Nginx作爲反向代理和負載均衡，對外nginx配置提供統一的接口。 系統部署在3臺服務器上，現在把關鍵配置參數配置記錄下，僅供大家參考。 其中activemq.xml如下
2018-11-28 13:08:46
原创 SparkStreaming讀取外部文件
scala語言： 方法1 val path = "/data1/work/config.properties" try { opinionDictPath = HDFSUtil.getProperties(path, "opinio
2018-11-28 13:08:45
原创 IOS客戶端app在線安裝ipa包，
在github上建立安裝需要的plist文件 <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN""http
2018-11-04 05:16:28
原创 SparkStreaming任務保持運行，定時任務監控進程
cron任務：每隔1分鐘啓動腳本，檢查進程是否運行。 */1 * * * * /data1/spark-1.6.0/startEnginea.sh 檢查進程，如果進程掛掉，重新啓動Spark任務： #!/bin/sh is_Engi
2018-10-27 04:53:55
3
原创 Visual Studio使用ffmpeg 4.0 讀取視頻文件，寫入到bmp圖片。
#include <windows.h> #include <stdlib.h> #ifndef _WINGDI_ #define _WINGDI_ typedef struct tagBITMAPFILEHEADER { WO
2018-09-17 01:34:26
3
原创 Html 中表格導出生成excel文件，解決中文導出失敗問題。
Html 中表格導出生成excel文件，解決中文導出失敗問題。 網上有Github的jquery插件，但是表格中含有中文的時候，會導出失敗，jquery.base64出現INVALID_CHARACTER_ERR: DOM Excepti
2018-09-03 15:36:33
2
原创 Diffie-Hellman
Diffie-Hellman 1976年，Whit Diffie和Martin Hellman共同提出了Diffie-Hellman[1]算法（簡稱DH），這是一種兩方密鑰交換協議，用於兩個對等實體安全地協商共享密鑰。DH算法實質是一
2018-09-03 15:36:33
原创 ContentObserver——內容觀察者
ContentObserver——內容觀察者，目的是觀察(捕捉)特定Uri引起的數據庫的變化，繼而做一些相應的處理，它類似於 數據庫技術中的觸發器(Trigger)，當ContentObserver所觀察的Uri發生變化時，便會
2018-09-03 15:36:21
2
原创 java語言正則表達式的用法
字符 說明 \ 將下一字符標記爲特殊字符、文本、反向引用或八進制轉義符。例如，“n”匹配字符“n”。“\n”匹配換行符。序列“\\”匹配“\”，“\(”匹配“(”。 ^ 匹配輸入字符串開始的位置。如果設置了 R
2018-09-03 15:36:21
原创 ffmpeg編譯錯誤問題，`.rodata' can not be used when making a shared object; recompile with -fPIC
錯誤現象： /usr/bin/ld: libavcodec/mqc.o: relocation R_X86_64_32 against `.rodata' can not be used when making a shared obje
2018-09-03 15:36:21
46
原创 java使用load data 批量插入記錄到數據庫表中。
public class MysqlTest { static String driver = "com.mysql.jdbc.Driver"; static String url = "jdbc:mysql://10.
2018-09-03 15:36:21
原创 用Python抓網頁的注意事項
http://blog.raphaelzhang.com/2012/03/issues-in-python-crawler/ 用Python抓網頁的注意事項 用Python編一個抓網頁的程序是非常快的，下面就是一個例子：
2018-09-03 15:36:21
原创 java 調用hbase的api進行表操作
package client; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hado
2018-09-03 15:36:21
原创 Android ListView控件優化
1，ListView中在屏幕中顯示的子項目View都是一些View的實例，可以組成一個顯示在屏幕上的View列表，最初這些View都需要創建；當某一個View滑出屏幕時，其被 放入到Recycler中。當有新的View要顯示在屏幕上時，
2018-09-03 15:36:21