hive内置函数是什么
时间:2023-12-16 19:27:21
hive内置函数:
定义:
UDF(User-Defined-Function),用户自定义函数对数据进行处理。
UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。
UDAF(User Defined Aggregation Function)用户自定义聚合函数,操作多个数据行,产生一个数据行。
用法:
1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。
2、编写UDF函数的时候需要注意一下几点:
a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
b)需要实现evaluate函。
c)evaluate函数支持重载。
hive的本地模式:
大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过,有时hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况,hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间会明显被缩短。
如此一来,对数据量比较小的操作,就可以在本地执行,这样要比提交任务到集群执行效率要快很多。
配置如下参数,可以开启Hive的本地模式:
1 | hive> set hive.exec.mode.local.auto=true;(默认为false) |
当一个job满足如下条件才能真正使用本地模式:
1.job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)
3.job的reduce数必须为0或者1
hive内置函数是什么的下载地址:
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
百度win10直通车检测系统语言必须为简体中文的解决方法
![](https://img.aspxhome.com/file/2023/28/a247094_0s.jpg)
Win10修改编辑hosts文件无法保存解决方法
![](https://img.aspxhome.com/file/2023/4/a310424_0s.jpg)
excel2010怎么设置文件只显示一个工作表标签?
![](https://img.aspxhome.com/file/2023/1/40511_0s.png)
WPS个人版怎么启用宏功能使用VBA
WPS表格工程函数
怎样把jpg转换成word
![](https://img.aspxhome.com/file/2023/4/19894_0s.jpg)
WPS如何合并多张图片
![](https://img.aspxhome.com/file/2023/0/a164410_0s.jpg)
完美游戏平台的账号多开功能怎么用?
Win7系统电脑清除历史记录的三种方法
![](https://img.aspxhome.com/file/2023/27/a231180_0s.jpg)
AMD显卡如何设置144Hz?AMD显卡设置144Hz的方法
![](https://img.aspxhome.com/file/2023/7/a328366_0s.jpg)
excel表格里文字换行操作教程
excel取数公式的使用教程
Win7备份系统的方法
![](https://img.aspxhome.com/file/2023/4/a313345_0s.jpg)
在word中怎么添加方向的符号?
![](https://img.aspxhome.com/file/2023/7/24707_0s.jpg)
国内常用域名后缀都有哪些?域名后缀含义解释
![](https://img.aspxhome.com/file/2023/6/a325794_0s.jpg)
After Effects 教程「12」,如何在 After Effects 中应用平铺效果?
![](https://img.aspxhome.com/file/2023/9/a202459_0s.jpeg)
Win10专业版系统怎么打开软键盘?Win10开启软键盘的方法教程
![](https://img.aspxhome.com/file/2023/6/a323346_0s.jpg)
Win10系统应该如何解决出现错误代码0xc00000fd的方法?
![](https://img.aspxhome.com/file/2023/3/a292171_0s.png)
Word2003如何避免出现表格重叠
![](https://img.aspxhome.com/file/2023/2/a289323_0s.png)
电脑重装系统后麦克风没有声音怎么办?
![](https://img.aspxhome.com/file/2023/6/a321857_0s.jpg)