Presto 标量函数注册和调用过程简述

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

在Presto 函数开发一文中已经介绍过如何进行函数开发，本文主要讲述标量函数（Scalar Function）实现之后，是如何在Presto内部进行注册和被调用的。主要讲述标量函数是因为：三类函数的注册和调用过程略有不同，而实际查询中调用最多的是标量函数。

标量函数注册

函数在能够调用之前，首先要进行注册，上一篇文章已经介绍过函数注册的方法，那么函数在注册时究竟注册了哪些信息呢？函数注册实际上是维护FunctinoRegistry类中的一个 MultiMap，Key 为函数的限定名(QualifiedName，可以简单地理解为函数名)，Value 为SqlFunction接口的实现类，实际主要为SqlAggregationFunction、SqlWindowFunction和SqlScalarFunction这三个类的子类。SqlScalarFunction是一个抽象类，定义如下：

public abstract class SqlScalarFunction implements SqlFunction { private final Signature signature; protected SqlScalarFunction(Signature signature) { this.signature = requireNonNull(signature, "signature is null"); checkArgument(signature.getKind() == SCALAR, "function kind must be SCALAR"); } @Override public final Signature getSignature() { return signature; } public abstract ScalarFunctionImplementation specialize(BoundVariables boundVariables, int arity, TypeManager typeManager, FunctionRegistry functionRegistry); public static PolymorphicScalarFunctionBuilder builder(Class<?> clazz) { return new PolymorphicScalarFunctionBuilder(clazz); } }

可以看出，其子类需要获取Signature和实现specialize方法。

首先来看Signature：

public final class Signature { private final String name; private final FunctionKind kind; private final List<TypeVariableConstraint> typeVariableConstraints; private final List<LongVariableConstraint> longVariableConstraints; private final TypeSignature returnType; private final List<TypeSignature> argumentTypes; private final boolean variableArity; .... }

类的成员变量说明如下：

name：函数名，不包括参数类型和结果类型，例如：函数isnull(T):boolean的函数名为isnull
kind：枚举类型，有 SCALAR、AGGREGATE 和 WINDOW三种取值，用于区分函数类型
typeVariableConstraints：类型变量约束，记录函数中的类型变量名，以及类型变量所需要满足的约束条件：类型是否为comparable、orderable 和是否绑定具体类型。例如：contains<T:comparable>(array(T),T):boolean函数要求类型T满足comparable；array_sort<E:orderable>(array(E)):array(E)函数要求类型E满足orderable；判断两个ROW类型是否相等的操作符（操作符也属于标量函数）$operator$EQUAL<T:comparable:row<*>>(T,T):boolean要求类型T为ROW类型。
LongVariableConstraint：长整型变量约束，记录函数中带有约束的长整型变量的计算表达式（一般用于计算返回类型中的长整型变量）。例如：函数concat<u:x + y>(char(x),char(y)):char(u)的返回类型中长整型变量u的计算表达式为x + y
returnType：函数的返回类型
argumentTypes：函数参数类型
variableArity：标记是否为变长参数

以上成员变量都可以从函数实现的类对象中，根据注解规则解析获得。除了获取Signature，由于同一个函数可能会有多个实现（例如上一篇文章介绍的isnull<T>(T):boolean函数，因为传入的参数类型可能不同，所以有五个实现方法），所以还要记录函数的实现方法。源码中将实现方法分为三类：

exactimplementation：函数中不包含类型变量，即函数的参数类型和返回类型都是确定的
specializedImplementation：函数中包含类型变量，但类型变量作用在具体的 Java 类型（Native Container Type）上
genericImplement：函数中包含类型变量，但是类型变量作用在 Object 类型上

Presto 保存的是实现方法的MethodHandle，通过反射获取Method，再保存Method对应的MethodHandle（MethodHandle在JDK1.7引入，调用的效率比反射高），如果该方法不是静态方法，还要将MethodHandle的中的this参数改为Object来避免调用时的类加载问题。所以，抽象方法specialize的本质是通过传入的参数，来获取匹配到的MethodHandle，这部分放到下一节的标量函数调用中进行讲解。

可以看出，标量函数注册的本质是保存函数的Signature和MethodHandle。开发者根据注解框架实现的标量函数，注册时再根据注解解析出Signature和MethodHandle，封装在ParametricScalar对象中。当然，开发者也可以自行继承SqlScalarFunction，自己定义Signature和实现specialize方法。

标量函数调用

标量函数调用的入口为InterpretedFunctionInvoker类的public Object invoke(Signature function, ConnectorSession session, List<Object> arguments)方法，形参里的Signature是由语义分析时，根据词法分析得到函数QualifiedName和语法分析得到的参数类型，调用FunctionRegistry中的public Signature resolveFunction(QualifiedName name, List<TypeSignatureProvider> parameterTypes)方法得到。所以，标量函数调用的关键是resolveFunction方法和invoke方法。

首先来看resolveFunction方法，该方法主要通过函数名和函数参数类型来确定Signature，流程如下：

虚线红框中的三个匹配过程实际上是调用了同一个方法：Optional<Signature> matchFunction(Collection<SqlFunction> candidates, List<TypeSignatureProvider> parameters, boolean coercionAllowed)，其中的coercionAllowed为是否将实参类型转化为形参类型的标识。matchFunction方法等价于为Signature中的变量寻找赋值，不仅要满足变量类型是对应的实际参数类型的超类，而且对应的实际参数还要满足Signature中声明的变量约束。将形参类型和实参进行绑定时，还会做一些约定性的检查：

一个类型不能既赋给类型变量（type parameter），又赋给字面变量（literal parameter，如varchar(x)中的x）
字面变量不允许跨类型使用

为了便于理解第二个规定，下面例举几个字面变量跨类型使用的例子：

x 出现在不同的基本类型中：char(x)和varchar(x)
x 出现在同一种基本类型的不同位置：decimal(x,y) 和 decimal(z,x)
p 与不同的字面量、类型或者字面变量组合使用：decimal(p,s1) and decimal(p,s2)

还有一个限制是，如果尝试将实际参数类型decimal(1,0)赋给Signature中声明的decimal(x,2)，会失败，但是使用decimal(3,1)可以赋值成功。因为根据decimal的定义，precision 必须大于 scale，即x必须大于2。

经过一系列的规则匹配和变量求解，最终会返回一个具体的函数函数签名，签名中的类型都是具体类型（即不含变量）。比如简单 SQLselect isnull('a')，最终得到的Signature是isnull(varchar(1)):boolean，实参中的类型varchar(1)赋给了原先注册的isnull<T>(T):boolean中的类型变量T。

再来看invoke方法，该方法首先会根据传入的Signature调用FunctionRegistry中的getScalarFunctionImplementation来获取最终的MethodHandle，然后使用具体的参数值来进行实际方法的调用（方法中若需要ConnectorSession，也在此进行注入）。因为函数注册维护的是QualifiedName->SqlFunction的映射关系，而调用getScalarFunctionImplementation时传入的Signature并没有记录变量与实参的绑定关系，所以这里需要再进行一次类型变量的求解，这一步的计算其实是可以避免的，因为在resolveFunction中其实已经拿到了变量绑定的关系，可以进行复用，所以340版本中已改为传入带绑定关系的FunctionBinding。函数注册时说明了一个函数可能有多个实现方法，接下来就是根据形参和实参的绑定关系，调用SqlFunction的specialize方法进行对应参数的 Java 类型的匹配，按照exactimplementation类型->specializedImplementation类型->genericImplement类型的顺序进行匹配，一旦匹配成功则直接返回匹配到的实现方法，如果方法中需要传入依赖变量，也在此步骤中根据绑定关系对MethodHandle进行参数值注入。因为对MethodHandle的反复编译会导致full GC（怀疑是触发了 JVM Bug），所以 Presto 在FunctionRegistry中为三类函数分别做了个大小为1000，有效时长为1小时的缓存来避免这个问题。