hive内置函数是什么

时间:2023-12-16 19:27:21 

hive内置函数:

定义:

UDF(User-Defined-Function),用户自定义函数对数据进行处理。

UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。

UDAF(User Defined Aggregation Function)用户自定义聚合函数,操作多个数据行,产生一个数据行。

用法:

1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。

2、编写UDF函数的时候需要注意一下几点:

a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。

b)需要实现evaluate函。

c)evaluate函数支持重载。

hive的本地模式:

大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过,有时hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况,hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间会明显被缩短。

如此一来,对数据量比较小的操作,就可以在本地执行,这样要比提交任务到集群执行效率要快很多。

配置如下参数,可以开启Hive的本地模式:

1

hive> set hive.exec.mode.local.auto=true;(默认为false)

hive内置函数是什么

当一个job满足如下条件才能真正使用本地模式:

1.job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)

2.job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)

3.job的reduce数必须为0或者1

hive内置函数是什么的下载地址:


     

标签:hive内置函数
0
投稿

猜你喜欢

  • 百度win10直通车检测系统语言必须为简体中文的解决方法

    2023-02-10 14:58:34
  • Win10修改编辑hosts文件无法保存解决方法

    2023-01-10 09:28:59
  • excel2010怎么设置文件只显示一个工作表标签?

    2022-03-12 00:08:30
  • WPS个人版怎么启用宏功能使用VBA

    2022-08-06 13:08:26
  • WPS表格工程函数

    2022-06-23 18:57:49
  • 怎样把jpg转换成word

    2023-12-06 15:22:15
  • WPS如何合并多张图片

    2023-06-15 08:55:16
  • 完美游戏平台的账号多开功能怎么用?

    2023-06-13 09:53:42
  • Win7系统电脑清除历史记录的三种方法

    2022-04-07 04:38:44
  • AMD显卡如何设置144Hz?AMD显卡设置144Hz的方法

    2022-08-20 12:07:59
  • excel表格里文字换行操作教程

    2023-01-31 19:15:58
  • excel取数公式的使用教程

    2023-12-19 14:36:18
  • Win7备份系统的方法

    2023-03-16 09:58:08
  • 在word中怎么添加方向的符号?

    2023-03-15 11:24:01
  • 国内常用域名后缀都有哪些?域名后缀含义解释

    2023-02-19 14:24:06
  • After Effects 教程「12」,如何在 After Effects 中应用平铺效果?

    2022-09-09 17:17:24
  • Win10专业版系统怎么打开软键盘?Win10开启软键盘的方法教程

    2023-04-21 17:26:01
  • Win10系统应该如何解决出现错误代码0xc00000fd的方法?

    2023-04-05 01:13:30
  • Word2003如何避免出现表格重叠

    2023-09-24 01:52:21
  • 电脑重装系统后麦克风没有声音怎么办?

    2023-11-18 17:31:36
  • asp之家 电脑教程 m.aspxhome.com