原创 ajax中文編碼的問題
關於這個問題得分get請求和post請求兩種不同的方式來解決get請求1 爲什麼會產生亂碼 ie瀏覽器是用gbk來編碼的,其他瀏覽器是用utf-8來編碼的,而服務器是用iso-8859-1來解碼的2 如何解決 首先在服務器端上
原创 數據庫編碼的問題
//這是找的eclipse中的自帶的數據庫模式在window 中找openperspective找myeclipse databases explorer//這是具體的怎麼設置的數據庫編碼問(注意後面的編碼問題)jdbc:mysql://l
原创 ajax技術的基本原來以及實現過程
異步的概念:當ajax對象(XMLHttpRequest)向服務器發送請求的時候,瀏覽器不會銷貨當前頁面,用戶仍然可以對向前頁面進行操作。以用戶輸入用戶名註冊判斷該用戶是否存在爲例當用輸入完用戶名進入下一個輸入框後,當前輸入框失去了一個焦點
原创 oanda的幾種訪問方式
1 通過聽過的restful接口 2 pip install v20 利用python包 3 利用v20-python-samples的操作命令 其中我會將restful訪問方式的代碼發出來
原创 關於程序中的一點小思路以及sed中一個知識點
一 :while循環中最好不要放執行時間過長的邏輯。所以如何做到分離呢。可以利用容器類,例如工作中遇到一個情況,先讀取一個文件中的內容,然後每讀到一條去判斷 是否符合條件,符合了就執行一段長時邏輯,否則就不執行。正常可以這樣Buffer
原创 (2)Druid架構詳解
Druid的架構中包括以下4類節點: 實時節點(realtime node) 實時攝入數據,並生成Segment數據文件歷史節點(historical node) 加載已經生成的數據文件,以供數據查詢查詢節點(Broker node)
原创 精通flink讀書筆記(2)——用DataStreamAPI處理數據
涉及的部分包括: 一 Execution environment flink支持的環境創建方式有: get一個已經存在的flink環境 方式爲getExecutionEnvironment()create一個local環境
原创 關於從websocket中獲得數據並落地
最新的需求是從wifi探針中獲得返回的數據,對方是把數據通過websocket傳送過來websocket的數據一般情況下是通過javascript直接顯示在了頁面上,而我的希望是能夠落到本地或其他地方,總之不要顯示到頁面上。我找到了一些網
原创 今天做了一個簡單的需求,梳理一下
總體的思路是:從11.203上把一張hive表down 到本地,然後scp到8.203 再scp到 16.205,在16.205上傳到hive中,這是兩個不同集羣間的數據傳輸。我中間用的expect + scp + hive腳本首先利用
原创 關於機器學習平臺數據數據輸入輸出定時執行需求
機器學習平臺的輸出:機器學習平臺部署在16.231上,數據會以時間戳爲文件名放到231本地的ftp服務器上(ftp本地目錄也就是mlp_user的目錄),所以不必登陸ftp去獲取數據,只在mlp_user的目錄下找到對應的數據目錄即可。獲
原创 storm與kafka的結合
需要注意幾點點:1 kafka一定要是0.8或0.9版本的纔可以2 storm的版本一定要與storm-kafka.jar 的版本一致。例如:我的版本選擇是這樣的 kafka_2.11-0.8.2.0 和 apache-sto
原创 kafka接flume遇到的問題
同事遇到點問題,拋出來了4個問題,如下 1 flume的source是kafka,sink是hdfs,怎樣判斷flume是否堆積,或者是說怎麼樣保證落地的速度和消費的速度是平衡的 2 怎麼判斷flume的agent程序是否掛掉 3
原创 精通flink讀書筆記(1)
很多人已經用上了spark,所以人們往往有個疑問,問啥還要用flink呢? 首先我們理解flink是基於流處理,是一個真正的流處理引擎,不是一個基於微批處理的引擎。批處理在flink看來反而是一種特殊情況。 下圖是flink的結構 f
原创 learning spark core concepts(1)
there are a couple of ways to work with spark: spark-shell and spark application 打開spark-shell 在不同語言下的方式 scala bin/
原创 關於Druid的一些問答
1 Druid是否支持非結構化數據? Druid不支持非結構化數據,數據攝入時依賴預先定義好的結構對數據進行處理 2 Druid支持什麼格式的數據入庫 支持json csv tsv 或者有明確分隔符的原始數據。 3 Dru