皮皮网

1.hive 使用tez
2.python与hive
3.hive只支持mysql数据库吗
4.Hudi Hive sync 使用
5.Hadoop3.3.5集成Hive4+Tez-0.10.2+iceberg踩坑过程

hive 使用tez

       1,编译编译编译tez 见 /p/bdd

        2,将 编译后的tez-0.9.2.tar.gz 上传到hdfs上. tez-site.xml中会使用到.见tez.lib.uris属性.

        3,在 $HADOOP_HOME/etc/hadoop 下新建 tez-site.xml.内容如下

        4,设置 hive. 修改hive-site.xml文件

        5,设置客户端的tez. 将 tez-0.9.2.tar.gz 解压到本地 /usr/tez下.

        6,重启服务

        会有一下一些错误.

        错误1 :cause: org.apache.hadoop.service.ServiceStateException: java.lang.NoClassDefFoundError: com/google/common/net/UrlEscapers

        解决: 我是将$HIVE_HOME/lib中的guava-.0.1.jar 升级到guava-.0.jar. 这个问题解决.但是日志中还是有些错误,不影响结果的产出.

        错误2:

        使用hive cli 的方式可以正常提交sql.并且在yarn上可以看到作业的运行情况.

        但是使用 ** beeline -u jdbc: hive2://localhost: ** .在yarn上看不到作业运行,并且报错. 错误日志只能在hive ui上查看.

python与hive

       Hive被视为大数据数据仓库的事实标准，能够利用HDFS和Hbase上的源码数据。一般情况下，编译编译Hive主要用于批处理任务，源码而热查询与数据展示则更多依赖于Impala、编译编译Spark SQL或Presto。源码主力资金简单源码有图Hive提供三种访问接口：CLI、编译编译Web UI和HiveServer2。源码在Python中访问Hive主要通过两种方式：Hive自带的编译编译库和pyhive模块。

       在Linux环境下进行测试较为理想，源码Windows环境下的编译编译SASL安装可能会遇到编译错误。以下内容将详细解释访问接口的源码API。

       在pyhive中执行SQL，编译编译eos源码框架提供了两个API：cursor.execute(sql,源码 parameters=None)和cursor.executemany(sql, [[]])。cursor.execute(operation,编译编译 params)允许通过params参数执行操作，params可以是单值、元组、列表或字典。而cursor.executemany(operation, params)则使用多组params参数执行操作，返回最终执行结果集。

       读取数据API包括：cursor.next()、cursor.fetchone()、cursor.fetchmany()和cursor.fetchall()。其中，cursor.next()返回下一条查询数据，压缩png 源码遇到结果集尾部会抛出异常；cursor.fetchone()返回下一条数据，尾部返回None；cursor.fetchmany(size=None)返回指定数量的数据，未指定size时默认为行；cursor.fetchall()则返回所有数据，需谨慎使用，以防内存溢出。

       查询结果每行数据以元组形式呈现，遵循SQL列顺序。其他API和属性包括：cursor.fetch_logs()获取Hive执行日志，cursor.rownumber属性记录读取数据条数，cursor.rowcount属性尚未实现，返回-1，cursor.description属性提供查询结果元数据，问道pak源码返回列数、列名和数据类型等信息。最后，cursor.cancel()和cursor.close()分别用于取消当前执行的SQL和关闭游标。

hive只支持mysql数据库吗

       当然不是，hive支持jdbc和odbc数据源连接，可以连接很多种数据库，mysql、oracle等等等等，它自己的metastore用的就是derbyDB。

       具体的连接方法在官网上有说明，使用odbc需要重新编译相关组件。动力源码hive通过jdbc连接其他数据库的教程在google上一搜一大堆。

Hudi Hive sync 使用

       Spark/Flink可以使用Hive的metastore，但是Hive无法通过Hive metastore中的Spark/Flink表直接查询数据。为了解决这个问题，可以配置使用Hive sync。在Spark/Flink操作表的时候，自动同步Hive的元数据。这样就可以通过Hive查询Hudi表的内容。

        Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hive metastore，Hudi需要实时从Timeline同步元数据到Hive metastore。

        复制编译后的 packaging/hudi-hadoop-mr-bundle/target/hudi-hadoop-mr-bundle-0..1.jar 到各节点Hive安装目录的 auxlib 目录中。

        进入 beeline 后执行：

        如果要使用Hive Sync功能，编译时候需要激活 flink-bundle-shade-hive3 profile。编译命令如下所示：

        Flink Hive Sync支持两种模式连接Hive：

        两种使用方式如下所示：

        例如使用HMS方式配置Hive Sync：

        然后我们进入beeline，执行：

        我们可以看到同步过来的 t1 表。

        然后执行：

        可以从Hive中查出Hudi表数据。

        如果执行Flink的时候遇到如下错误：

        需要修改 packaging/hudi-flink-bundle/pom.xml ，在 relocations 标签中加入：

        然后重新编译。

        参考链接：

       /apache/hudi/issues/

        Spark Hive Sync目前只支持DataFrame API。下面使用官网的例子插入数据到 hudi_cow 表：

        Spark Hudi Hive Sync配置项含义如下：

        和Flink一样，执行成功后可以使用Hive通过 beeline 查询Hudi表数据。

       https://hudi.apache.org/docs/syncing_metastore

Hadoop3.3.5集成Hive4+Tez-0..2+iceberg踩坑过程

       在集成Hadoop 3.3.5、Hive 4、Tez 0..2以及Iceberg 1.3的过程中，我们面对了诸多挑战，并在多方寻找资料与测试后成功完成集成。以下为集成步骤的详细说明。

       首先，确保Hadoop版本为3.3.5，这是Hive运行的前置需求。紧接着，安装Tez作为计算引擎。由于Tez 0..2的依赖版本为3.3.1，与当前的Hadoop版本不符，因此，我们需手动编译Tez以避免执行SELECT操作时出现的错误。编译前，下载官方发布的Tez源码（release-0..2），并解压以获取编译所需文件。编译过程中，注意更新pom.xml文件中的Hadoop版本号至3.3.5，同时配置protoc.path为解压后的protoc.exe路径，并添加Maven仓库源。确保只编译tez-0..2-minimal.tar.gz，避免不必要的编译耗时。完成后，将编译好的文件上传至HDFS，并在主节点hadoop配置目录下新增tez-site.xml，同步配置至所有节点后重启集群。

       Hive作为基于Hadoop的数据仓库工具，提供SQL查询和数据分析能力，新版本Hive 4集成了Iceberg 1.3，无需额外配置。本次集成步骤包括下载、解压、配置环境变量及初始化元数据。下载最新的Hive 4.0.0-beta-1版本，解压并配置环境变量，删除指定jar文件以避免提示错误。修改配置文件以设置Hive环境变量，并确保连接信息正确。初始化Hive元数据后，可以使用hive执行文件启动Hive服务。编写hive_management.sh脚本以实现Hive服务的管理。

       通过beeline命令进行连接，执行创建数据库和表的SQL语句，使用Hive进行数据插入和查询。值得注意的是，Hive 4.0.0-beta-1已集成Iceberg 1.3，因此无需额外加载jar包，只需将计算引擎设置为Tez。若需更新Iceberg版本，需下载Hive源码，修改依赖并编译特定包。

       为了创建Iceberg分区表，使用熟悉的Hive命令语法，例如创建分区表时使用STORED BY ICEBERG。分区规范的语法也与Spark相似，可在HMS中获取Iceberg分区详细信息，并执行相应的数据转换操作。参考文档提供了从安装至配置的详细指导，确保了集成过程的顺利进行。