原创 (轉)JNI規範

JNI規範 11 October 2017 目錄 1 簡介 2 設計概覽 2.1 JNI函數和指針 2.2 編譯、載入、鏈接本地方法 2.2.1 解析本地方法名 2.2.2 本地方法參數 2.3 引用Java對象 2.3.1 全局引用和

原创 通過 ARMS Prometheus 監控 JVM

通過在應用中埋點來暴露 JVM 數據,使用 ARMS Prometheus 監控抓取 JVM 數據,並藉助 ARMS Prometheus Grafana 大盤來展示 JVM 數據,即可實現通過 ARMS Prometheus 監控 JV

原创 使用Eclipse插件提高Java編碼質量

代碼質量概述    怎樣辨別一個項目代碼寫得好還是壞?優秀的代碼和腐化的代碼區別在哪裏?怎麼讓自己寫的代碼既漂亮又有生命力?接下來將對代碼質量的問題進行一些粗略的介紹。也請有代碼質量管理經驗的朋友提出寶貴的意見。  代碼質量所涉及

原创 04_Flink Streaming DataStream

DataStream對象,簡稱ds,作爲流計算編程的核心上下文。提供多種功能 //1:接入數據源 1:ds由env和SourceFunction產生,完成接入數據源的功能 //2:數據處理 2:filter。實現過濾功能 3:map,實現

原创 (轉)翻譯《Memory Management in the Java HotSpot™ Virtual Machine》

翻譯《Memory Management in the Java HotSpot™ Virtual Machine》 29 July 2011 原文地址:http://caoxudong818.iteye.com/blog/1135981

原创 (轉)JVMTI 參考

JVMTI 參考 07 December 2017 原文地址,https://docs.oracle.com/javase/8/docs/platform/jvmti/jvmti.html 目錄 1 introduction 1.1

原创 tune performance

The following ending with ‘~’ should override the default value.Inter-worker: Netty.server.thread(Netty-server-localho

原创 變不可能爲可能,Tachyon幫助Spark變小時級任務到秒

本文作者是Gianmario Spacagna和Harry Powell,Barclays的數據科學家。 集羣計算和大數據技術已經取得了很多進展,不過現在很多大數據應用使用的還是HDFS這一分佈式分件系統。HDFS是一個基於磁盤的文件

原创 03_Flink Streaming SinkFunction

env對象的addSink(SinkFunction)。需要傳入一個SinkFunction對象。這個對象處理的出口。之後無法再進行數據操作。 package com.alibaba.flink.train.streaming; im

原创 02_Flink Streaming SourceFunction

env對象的addSource(SourceFunction)。需要傳入一個SourceFunction對象。這個對象作爲接入數據源的接口 package com.alibaba.flink.train.streaming; impo

原创 java多線程小結,及解決應用掛死的問題

這兩天爲了定位JBOSS老是掛死的問題,學習了一下JAVA多線程方面的知識,在此總結一下 1、在Java程序中,JVM負責線程的調度。線程調度是指按照特定的機制爲多個線程分配CPU的使用權。 調度的模式有兩種:分時調度和搶佔式調度。分時調

原创 01_Flink Streaming env

<pre name="code" class="java">package com.alibaba.flink.train.streaming; import org.apache.flink.api.common.functions.

原创 再談機器學習中的歸一化方法(Normalization Method)

機器學習、數據挖掘工作中,數據前期準備、數據預處理過程、特徵提取等幾個步驟幾乎要花費數據工程師一半的工作時間。同時,數據預處理的效果也直接影響了後續模型能否有效的工作。然而,目前的大部分學術研究主要集中在模型的構建、優化等方面,對數據預

原创 一個load過高的故障排查案例

現象: 6臺4核機器load 全部在30以上,cpu使用us在90%, mem使用在90%,swap使用了100K,機器緩慢,前臺瀏覽器頁面打開緩慢,超時後白屏。 措施: top, shift+h ,shift + p, 找出消耗cpu

原创 學好這些你就牛了,常用的機器學習&數據挖掘知識點

Basis(基礎): MSE(Mean Square Error 均方誤差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(Maxim