udf函数python,udf实例

python写hive的UDF问题

你把print写在try里面当然会少数据。你应该try访问fields数组并更新fields[2]的值。另一方面，从功能点上来说，使用SQL函数nvl或coalesce就能实现，没必要写个UDF来实现，你这样做增加额外的IO消耗和工作量。如果一定要写UDF，建议少用print,改用标准输出实现：sys.stdout.write()。

相关问答

Q1: mysql udf函数怎么调用

背景

在上一篇推文中，我们介绍了 MySQL Group Replication 8.0.16 支持信息碎片化功能来增强大型事务处理能力。

如果您想在组复制中使用该功能，则任何组成员的版本都不能低于 8.0.16！

简单地说就是由于低版本协议上不支持。MySQL 8.0.16 的组通讯开始支持新协议，简称“分段协议”，之前的版本中只有一种“压缩协议”。

如果多个成员想加入复制组，那么在协议匹配上遵循以下原则：

现有复制组成员和新加入成员版本相同，加入成功。

低版本成员想加入高版本的组会被驱逐，加入失败。

高版本的成员想加入低版本的组，单独加入成功，多个加入失败。

例如：

一个 MySQL Server 8.0.16 实例可以成功加入使用通信协议版本 5.7.24 的组。

一个 MySQL Server 5.7.24 实例无法成功加入使用通信协议版本 8.0.16 的组。

两个 MySQL Server 8.0.16 实例无法同时加入使用通信协议版本 5.7.24 的组。

两个 MySQL Server 8.0.16 实例可以同时加入使用通信协议版本 8.0.16 的组。

新增 UDF

为了能让高版本的复制组更便于加入低版本的成员，MySQL 8.0.16 新增两个 UDF。

您可以使用两个新的 UDF 命令去管理组通信协议：

1. group_replication_set_communication_protocol(new_protocol)

设置组复制通讯协议版本

SELECT group_replication_set_communication_protocol("8.0.15");

填入一个所有成员都支持的版本号，即：new_protocol ≤ 所有成员的 MySQL版本。

new_protocol 格式：major.minor.patch （主版本号.次版本号.发布版本号）例如：8.0.15。

2. group_replication_get_communication_protocol()

获取复制中最旧成员的 MySQL 版本号

SELECT group_replication_get_communication_protocol();    +------------------------------------------------+    | group_replication_get_communication_protocol() |    +------------------------------------------------+    | 5.7.14                                         |    +------------------------------------------------+

获取的版本号可能与设置的值不一致，但不一致的版本之间组复制协议是一样的。

返回结果格式：major.minor.patch （主版本号.次版本号.发布版本号）例如：8.0.15。

以上两个 UDF 对全部组成员有效，主机或从机上均可执行。

结论

若想使用信息碎片功能。建议将组复制成员全部升级为 8.0.16。

若组内成员版本仅有部分为 8.0.16，可以用两个新的函数来让高版本的成员保持与其它成员组协议一致。

请点击输入图片描述

Q2: udaf可以用python写吗

Java来实现Hive的写法

package jsl.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

public final class DomainRoot extends UDF {

public Text evaluate(Text s) {

if (s == null) {return null;}

String tmp = s.toString();

tmp = this.getDomainRoot(tmp);

return new Text(tmp);

}

private String getDomainRoot(String domain) {

throw NoneImplementException("xxxx");

}

}

如果Java的UDF需要当成常用的，不用每次add可以注册到Hive中，

ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入

registerUDF("domain_root", UDFParseUrl.class, false);并重新编译hive即可

下面来说说重点，通过Streaming用Python来写处理。

关于Streaming的基础内容：

约束：首先必须add file到hive中（当python中引用了其他如自己写的模块时，也需要一并add进去）

其次非常不幸,在单独的一个查询中，不能够使用UDAF的函数如sum()

再次不得为中间结果数据使用cluster by或distribute by

注意：对于优化查询，使用cluster by或distribute by 和sort by一起非常重要

Q3: Hsql中使用python的UDF

Author：杜七

先写一个处理数据的脚本，如下：

保存到test.py中，放在本地的任何地方，比如/home/duqi.yc/scripts/python/

Q4: excel直接输入Filter公式可以，用python写进去，打开文件就报错？

前面那个账号没有财富值了。换个账号交流。

试了一下，最简单的。

ws['A3'].value = '=A1:D1'

打开文件不报错，但单元格公式前面自动加了@，内容只显示A1内容。

我用xlwings写入FILTER函数不报错，但也同样现象(公式前自动加@，只显示第一个单元格内容)。

顺着这个一路找下去，这应该就是python库是否支持处理动态数组问题了。

按我理解，

1）用xlwings或许可以，但得用UDF(自己定义函数功能)，前提还得把xlwings插件安装到excel里(这就不友好了，我还需要把最后做好的软件分享给别人用，不能让人家电脑上也得装xlwings插件吧)。

2）用xlsxwriter确定可以，可问题是xlsxwriter不支持打开已有的excel文件，只能新建写入，

所以我本来的想法是，先选择一个区域单元格为整体，然后写入试试，但没找到具体代码方法。

Q5: hive自定义udf函数，在udf函数内怎么读取hive表数据

最近感受了hive的udf函数的强大威力了，不仅可以使用很多已经有的udf函数，还可以自己定义符合业务场景的udf函数，下面就说一下如何写udf/udaf/udtf函数，算是一个入门介绍吧。

First, you need to create a new class that extends UDF, with one or more methods named evaluate.

package com.example.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

public final class Lower extends UDF {

public Text evaluate(final Text s) {

if (s == null) { return null; }

return new Text(s.toString().toLowerCase());

}

}

After compiling your code to a jar, you need to add this to the hive classpath.

add jar my_jar.jar;

Once hive is started up with your jars in the classpath, the final step is to register your function

create temporary function my_lower as 'com.example.hive.udf.Lower';

上面主要描述了实现一个udf的过程，首先自然是实现一个UDF函数，然后编译为jar并加入到hive的classpath中，最后创建一个临时变量名字让hive中调用。转载，仅供参考。