自定義UDAF函數開發詳解
UDAF 函數分爲如下兩部分：
一、負責檢查數據類型（Resolver）
二、負責數據執行處理（Evaluator）
第一部分（Resolver）
Resolver 部分繼承 AbstractGenericUDAFResolver類，之後只需要重載getEvaluator 方法，AbstractGenericUDAFResolver的源碼如下：
public abstract class AbstractGenericUDAFResolver implements GenericUDAFResolver2 {
public AbstractGenericUDAFResolver() {
}
public GenericUDAFEvaluator getEvaluator(GenericUDAFParameterInfo info) throws SemanticException {
if (info.isAllColumns()) {
throw new SemanticException("The specified syntax for UDAF invocation is invalid.");
} else {
return this.getEvaluator(info.getParameters());
}
}
public GenericUDAFEvaluator getEvaluator(TypeInfo[] info) throws SemanticException {
throw new SemanticException("This UDAF does not support the deprecated getEvaluator() method.");
}
}
它根據SQL傳入的參數類型,返回正確的evaluator。這裏最主要是實現操作符的重載。
UDAF的第一部分代碼爲
public class GenericUDAFMedian extends AbstractGenericUDAFResolver {
@Override
public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters)
throws SemanticException {
if(parameters.length != 1) {
throw new UDFArgumentTypeException(parameters.length-1, "Only 1 parameter is accepted!");
}
ObjectInspector objectInspector = TypeInfoUtils.getStandardJavaObjectInspectorFromTypeInfo(parameters[0]);
if(!ObjectInspectorUtils.compareSupported(objectInspector)) {
throw new UDFArgumentTypeException(parameters.length - 1, "Cannot support comparison of map<> type or complex type containing map<>.");
}
switch (((PrimitiveTypeInfo)parameters[0]).getPrimitiveCategory()) {
case BYTE:
case SHORT:
case INT:
case LONG:
case FLOAT:
case DOUBLE:
return new GenericUDAFMedianEvaluatorDouble();
case STRING:
case BOOLEAN:
default:
throw new UDFArgumentTypeException(0,
"Only numeric type(int long double) arguments are accepted but "
+ parameters[0].getTypeName() + " was passed as parameter of index->1.");
}
}
...........
}
第二部分（Evaluator）
Evaluator部分繼承 GenericUDAFEvaluator 類
GenericUDAFEvaluator 類的源碼如下：
public abstract class GenericUDAFEvaluator implements Closeable {
GenericUDAFEvaluator.Mode mode;
public static boolean isEstimable(GenericUDAFEvaluator.AggregationBuffer buffer) {
if (!(buffer instanceof GenericUDAFEvaluator.AbstractAggregationBuffer)) {
return false;
} else {
Class<? extends GenericUDAFEvaluator.AggregationBuffer> clazz = buffer.getClass();
GenericUDAFEvaluator.AggregationType annotation = (GenericUDAFEvaluator.AggregationType)AnnotationUtils.getAnnotation(clazz, GenericUDAFEvaluator.AggregationType.class);
return annotation != null && annotation.estimable();
}
}
public GenericUDAFEvaluator() {
}
public void configure(MapredContext mapredContext) {
}
public ObjectInspector init(GenericUDAFEvaluator.Mode m, ObjectInspector[] parameters) throws HiveException {
this.mode = m;
return null;
}
public abstract GenericUDAFEvaluator.AggregationBuffer getNewAggregationBuffer() throws HiveException;
public abstract void reset(GenericUDAFEvaluator.AggregationBuffer var1) throws HiveException;
public void close() throws IOException {
}
public void aggregate(GenericUDAFEvaluator.AggregationBuffer agg, Object[] parameters) throws HiveException {
if (this.mode != GenericUDAFEvaluator.Mode.PARTIAL1 && this.mode != GenericUDAFEvaluator.Mode.COMPLETE) {
assert parameters.length == 1;
this.merge(agg, parameters[0]);
} else {
this.iterate(agg, parameters);
}
}
public Object evaluate(GenericUDAFEvaluator.AggregationBuffer agg) throws HiveException {
return this.mode != GenericUDAFEvaluator.Mode.PARTIAL1 && this.mode != GenericUDAFEvaluator.Mode.PARTIAL2 ? this.terminate(agg) : this.terminatePartial(agg);
}
public abstract void iterate(GenericUDAFEvaluator.AggregationBuffer var1, Object[] var2) throws HiveException;
public abstract Object terminatePartial(GenericUDAFEvaluator.AggregationBuffer var1) throws HiveException;
public abstract void merge(GenericUDAFEvaluator.AggregationBuffer var1, Object var2) throws HiveException;
public abstract Object terminate(GenericUDAFEvaluator.AggregationBuffer var1) throws HiveException;
public GenericUDAFEvaluator getWindowingEvaluator(WindowFrameDef wFrmDef) {
return null;
}
public abstract static class AbstractAggregationBuffer implements GenericUDAFEvaluator.AggregationBuffer {
public AbstractAggregationBuffer() {
}
public int estimate() {
return -1;
}
}
/** @deprecated */
public interface AggregationBuffer {
}
public static enum Mode {
PARTIAL1,
PARTIAL2,
FINAL,
COMPLETE;
private Mode() {
}
}
@Retention(RetentionPolicy.RUNTIME)
public @interface AggregationType {
boolean estimable() default false;
}
}
代碼中 重點介紹 Mode 的4個枚舉類型，這四個枚舉類型就代表整個UDAF函數的代碼執行過程，也就是mapreduce的執行過程。
根據mapreduce執行原理:
在map階段（數據入口）會執行 PARTIAL1(調用iterate和terminatePartial) 和 COMPLETE (iterate和terminate)
在combiner階段會執行 PARTIAL2(調用merge和terminatePartial)
在reduce階段會執行 FINAL (調用merge和terminate)
那麼針對GenericUDAFEvaluator 類中每個方法都做什麼我們重點說一下：
- init ： 在 PARTIAL1，PARTIAL2，FINAL，COMPLETE 這四個階段都會執行init方法，接收輸入參數，設置UDAF的返回類型(return PrimitiveObjectInspectorFactory.writableLongObjectInspector;)
- reset : 重置聚合
- iterate : 迭代parameters表示的原始數據並保存到AggregationBuffer中
- terminatePartial : 以持久化的方式返回AggregationBuffer表示部分聚合結果，這裏的持久化意味着返回值只能Java基礎類型、數組、基礎類型包裝器、Hadoop的Writables、Lists和Maps。即使實現了java.io.Serializable，也不要使用自定義的類
- merge : 相當於reduce階段(也存在於Combine階段)，用於最後的聚合。Object類型的partial參數與- terminatePartial返回值一致，AggregationBuffer參數與上述一致
- terminate : 返回由agg表示的最終結果
- getNewAggregationBuffer :用於返回存儲臨時聚合結果的 GenericUDAFEvaluator.AggregationBuffer對象
上述這些方法基本按照init、getNewAggregationBuffer、iterate、terminatePartial、merge、terminate的順序調用
執行流程是：
1、init方法
2、自行定義一個類實現AggregationBuffer類(相當於自定義保存數據聚集的存儲類型)
3、調用getNewAggregationBuffer()實例化自定義的AggregationBuffer類
4、調用iterate()遍歷每一行數據，存入自定義的AggregationBuffer類的屬性中
5、調用terminatePartial()進行部分聚合
6、調用merge()進行最終聚合
7、調用terminate()最終處理，返回最後結果(返回的數據類型要和上面每個過程中的數據類型以及init定義的返回類型一致)
總結
編寫自定義UDAF函數，主要就是要掌握運行原理和機制，作爲小白，也是花了點時間整理了一下。個人認爲重點是理解Mode的4種枚舉類型，以及所對應的mapreduce執行過程。其次，要理解在執行過程中調用了那些方法，方法的作用是什麼。這樣才能完成UDAF函數的自定義開發工作
永久UDAF函數設置
1. 將jar包上傳至 HDFS
hdfs://nameservice1/user/hive/jar/median_udaf_double.jar
2. 創建永久UDAF函數
create function medianUDAF as 'UDAF.GenericUDAFMedian' using jar 'hdfs://nameservice1/user/hive/jar/median_udaf_double.jar';
