皮皮网

1.zookeeper开山篇-编译安装与zk基础命令使用
2.Hadoop3.3.5集成Hive4+Tez-0.10.2+iceberg踩坑过程
3.Hudi 基础入门篇
4.OpenBayes x Apache：为什么我们需要面向异构计算的源码编译器体系
5.如何在hadoop-2.6.0上编译运行自己编写的java代码
6.Atlas系列-编译部署-Atlas2.1.0独立部署

zookeeper开山篇-编译安装与zk基础命令使用

       随着软件规模的扩张，分布式服务逐渐成为解决并发流量问题的编译主流选择，Apache的源码Zookeeper作为一款成熟的分布式协调组件，为分布式应用提供一致性服务。编译本文将带你步入Zookeeper的源码学习之旅，从基础安装和命令使用开始。编译内容推荐算法源码

       Zookeeper是源码Apache的一个分布式应用程序协调服务，它扮演着配置管理、编译域名服务、源码分布式同步和组服务等角色，编译是源码Hadoop和Hbase的重要组成部分。它的编译主要作用是保证分布式系统中的数据一致性。

       下载安装步骤有两个：首先，源码可从官网（mirrors.tuna.tsinghua.edu.cn...）下载最新版本的编译zookeeper-xxx.tar.gz，解压后将conf目录下的源码zoo_sample.cfg复制并重命名为zoo.cfg，配置dataDir和dataLogDir，然后双击bin目录下的zkServer.cmd启动服务。

       另一种方法是下载zk源码，通过Ant进行编译。首先，根据开发环境和zk源码版本下载Ant，配置环境变量，然后在GitHub上选择相应的版本进行git下载。编译时需注意zk源码中的properties-maven-plugin和exec-maven-plugin插件配置，可能需要手动修改以适应本地环境。

       启动单机版zk服务时，可能会遇到编译错误，马马源码需检查pom.xml文件和git.properties配置。成功编译后，通过zkCli.cmd客户端连接，通过ls、create、get、stat、delete等命令操作zk节点，实现基本的创建、读取、修改和删除功能。

       本文仅是Zookeeper学习的入门，后续还将深入探讨更多命令和配置细节，欢迎持续关注。作者：享学课堂online，来源：今日头条。

Hadoop3.3.5集成Hive4+Tez-0..2+iceberg踩坑过程

       在集成Hadoop 3.3.5、Hive 4、Tez 0..2以及Iceberg 1.3的过程中，我们面对了诸多挑战，并在多方寻找资料与测试后成功完成集成。以下为集成步骤的详细说明。

       首先，确保Hadoop版本为3.3.5，这是Hive运行的前置需求。紧接着，泥潭3源码安装Tez作为计算引擎。由于Tez 0..2的依赖版本为3.3.1，与当前的Hadoop版本不符，因此，我们需手动编译Tez以避免执行SELECT操作时出现的错误。编译前，下载官方发布的Tez源码（release-0..2），并解压以获取编译所需文件。编译过程中，注意更新pom.xml文件中的Hadoop版本号至3.3.5，同时配置protoc.path为解压后的protoc.exe路径，并添加Maven仓库源。确保只编译tez-0..2-minimal.tar.gz，避免不必要的编译耗时。完成后，将编译好的文件上传至HDFS，并在主节点hadoop配置目录下新增tez-site.xml，同步配置至所有节点后重启集群。

       Hive作为基于Hadoop的数据仓库工具，提供SQL查询和数据分析能力，新版本Hive 4集成了Iceberg 1.3，无需额外配置。本次集成步骤包括下载、解压、配置环境变量及初始化元数据。下载最新的源码慧通Hive 4.0.0-beta-1版本，解压并配置环境变量，删除指定jar文件以避免提示错误。修改配置文件以设置Hive环境变量，并确保连接信息正确。初始化Hive元数据后，可以使用hive执行文件启动Hive服务。编写hive_management.sh脚本以实现Hive服务的管理。

       通过beeline命令进行连接，执行创建数据库和表的SQL语句，使用Hive进行数据插入和查询。值得注意的是，Hive 4.0.0-beta-1已集成Iceberg 1.3，因此无需额外加载jar包，只需将计算引擎设置为Tez。若需更新Iceberg版本，需下载Hive源码，修改依赖并编译特定包。

       为了创建Iceberg分区表，使用熟悉的Hive命令语法，例如创建分区表时使用STORED BY ICEBERG。分区规范的语法也与Spark相似，可在HMS中获取Iceberg分区详细信息，并执行相应的数据转换操作。参考文档提供了从安装至配置的详细指导，确保了集成过程的顺利进行。

Hudi 基础入门篇

       为了深入理解Hudi这一湖仓一体的云校源码流式数据湖平台，本文将提供一个基础入门的步骤指南，从环境准备到编译与测试，再到实际操作。

       在开始之前，首先需要准备一个大数据环境。第一步是安装Maven，这是构建和管理Hudi项目的关键工具。在CentOS 7.7版本的位操作系统上，通过下载并解压Maven软件包，然后配置系统环境变量，即可完成Maven的安装。确保使用的Maven版本为3.5.4，仓库目录命名为m2。

       接下来，需要下载Hudi的源码包。通过访问Apache软件归档目录并使用wget命令下载Hudi 0.8版本的源码包。下载完成后，按照源码包的说明进行编译。

       在编译过程中，将需要添加Maven镜像以确保所有依赖能够正确获取。完成编译后，进入$HUDI_HOME/hudi-cli目录并执行hudi-cli脚本。如果此脚本能够正常运行，说明编译成功。

       为了构建一个完整的数据湖环境，需要安装HDFS。从解压软件包开始，配置环境变量，设置bin和sbin目录下的脚本与etc/hadoop下的配置文件。确保正确配置HADOOP_*环境变量，以确保Hadoop的各个组件可以正常运行。

       下一步，需要配置hadoop-env.sh文件，以及核心配置文件core-site.xml和HDFS配置文件hdfs-site.xml。这些配置文件中包含了Hadoop Common模块的公共属性、HDFS分布式文件系统相关的属性，以及集群的节点列表。通过执行格式化HDFS和启动HDFS集群的命令，可以确保HDFS服务正常运行。

       总结而言，Hudi被广泛应用于国内的大公司中，用于构建数据湖并整合大数据仓库，形成湖仓一体化的平台。这使得数据处理更加高效和灵活。

       为了更好地学习Hudi，推荐基于0.9.0版本的资料，从数据湖的概念出发，深入理解如何集成Spark和Flink，并通过实际需求案例来掌握Hudi的使用。这些资料将引导用户从基础到深入，逐步掌握Hudi的核心功能和应用场景。

OpenBayes x Apache：为什么我们需要面向异构计算的编译器体系

       Apache 软件基金会，以众多领先项目如 Apache HTTP Server、Apache Hadoop、Apache Spark 和 Apache TVM 而闻名，致力于推动全球技术发展。在 8 月举办的亚太区大会“CommunityOverCode Asia”上，OpenBayes 贝式计算、Apache TVM PMC 冯思远以及 Deelvin Solutions 的 Egor Churaev，作为 Apache TVM 社区和 MLC 社区的核心贡献者，聚焦“人工智能/机器学习”分论坛，深入探讨了面向异构计算的编译器体系。

       随着 AI，尤其是大型语言模型的兴起，计算需求激增，传统通用计算平台已无法满足高计算效能需求。异构计算体系的引入，旨在解决硬件与软件优化的压力，通过融合 CPU、GPU、FPGA 等不同硬件平台，实现资源高效利用。

       OpenBayes 贝式计算已广泛应用 Apache TVM 技术，优化本地部署，推动 MLC 社区发展，定期举办“Meet TVM”线下聚会，促进机器学习领域专家交流。Apache TVM 由陈天奇主导开发，作为机器学习编译器堆栈，它能有效解决因硬件异构化带来的挑战，比如模型部署至不同硬件平台，以及自动调优以提升运行效率。

       此外，开源技术如 MLC-LLM 的出现，利用 Apache TVM Unity 实现大语言模型在任何设备上的编译运行，解决了 AI 开发者缺乏高性能硬件资源的问题。MLC-LLM 技术基于图层面 IR 和循环层面 IR 的结合，简化了模型构建流程，并支持广泛的后端平台，如浏览器、GPU、iOS、Android 等。

       异构计算编译器通过优化编译过程，提升了机器学习模型在多类硬件上的执行效率，有效推进模型部署至各类设备，包括移动设备。这种集成能力对于计算技术的发展至关重要。

       未来，OpenBayes 贝式计算将持续推动异构计算体系发展，与芯片厂商及生态伙伴合作，共同促进编译器普及。同时， 年 Meet TVM 系列活动深圳站将于 9 月 日举行，欢迎参与。

如何在hadoop-2.6.0上编译运行自己编写的java代码

       åœ¨ä¸ä½¿ç”¨eclipse情况使java程序在hadoop 2.2中运行的完整过程。整个过程中其实分为java程序的编译，生成jar包，运行测试。

       è¿™ä¸‰ä¸ªæ­¥éª¤è¿ç”¨çš„命令都比较简单，主要的还是如何找到hadoop 2.2提供给java程序用来编译的jar包。具体可以查看:

       HADOOP_HOME/share/hadoop/.wan.demo;

       import java.io.IOException;

       import org.apache.hadoop.conf.Configuration;

       import org.apache.hadoop.fs.FileSystem;

       import org.apache.hadoop.fs.Path;

       public class HADemo {

        public static void main(String[] args) {

        // TODO Auto-generated method stub

        mkdir(args[0]);

        }

        public static void mkdir(String dir){

        Configuration configuration=new Configuration();

        FileSystem fs;

        try {

        fs = FileSystem.get(configuration);

        fs.mkdirs(new Path(dir));

        fs.close();

        } catch (IOException e) {

        // TODO Auto-generated catch block

        e.printStackTrace();

        }

        }

       }

       æŠŠHADemo.java文件拷贝到linux环境中

       é…ç½®HADOOP_HOME/bin到环境中，启动集群，进入HADemo.java文件目录中

       æ³¨:下面的lib目录里面的文件由HADOOP_HOME/share/hadoop/mon-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java

       2.生成jar包

       #jar -cvf hademo.jar -C class/ .

       added manifest

       adding: com/(in = 0) (out= 0)(stored 0%)

       adding: com/wan/(in = 0) (out= 0)(stored 0%)

       adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)

       adding: com/wan/demo/HADemo.class(in = ) (out= )(deflated %)

       3.测试运行

       #hadoop jar hademo.jar com.wan.demo.HADemo /test

       æ£€æµ‹ï¼š

       #hadoop fs -ls /

       ç»“束！

Atlas系列-编译部署-Atlas2.1.0独立部署

       本文将为您详细介绍如何独立部署 Atlas 2.1.0 版本，依赖组件包括 solr、hbase、zookeeper、hive、hadoop、kafka。我们将采用 Docker 容器与 Linux 环境进行部署。如果您在 Atlas 的编译部署过程中遇到问题，本指南将提供解决方案。

       部署流程如下：

       部署环境

       1. Linux 环境：若无 Linux 环境，可通过 Docker 构建。如已安装 Linux，推荐使用 CentOS 镜像，本文作者最初在 Windows 环境下进行部署，并制作了一个 CentOS 镜像。构建步骤如下：

       1. 拉取镜像

       2. 运行容器

       2. Zookeeper 环境搭建：使用 Docker 方式搭建 Zookeeper，配置步骤包括：

       1. 拉取 Docker 镜像

       2. 运行容器

       3. Hadoop 环境搭建：同样采用 Docker 方式搭建 Hadoop，步骤如下：

       1. 拉取镜像

       2. 建立 Hadoop 用的内部网络

       3. 创建并启动 Master 容器，映射端口，如 端口用于 Hiveserver2，以便后续客户端通过 beeline 连接 Hive

       4. 创建 Slave 容器

       5. 修改 hosts 文件，将 Master 和 Slave 的 IP 地址映射到容器内部

       6. 启动 Hadoop，格式化 HDFS，并启动全部服务

       7. 访问 Web 查看服务状态，如 hdfs: localhost: 和 yarn: localhost:

       4. 部署 Hive：由于 Hive 镜像与 Hadoop 镜像整合，使用已启动的 Hadoop 镜像进行部署：

       1. 进入 Master 容器

       2. 修改配置文件，添加相关环境变量

       3. 执行源命令生效

       4. 完成数据库配置，确保与 Hive 配置文件中的分隔符一致，并关闭 SSL 验证

       5. 上传 MySQL 驱动到 Hive 的 lib 目录，调整 jar 包配置，确保 slf4j 和 guava 包版本一致

       6. 初始化元数据库，完成 Hive 的安装与启动

       7. 修改 Hadoop 权限配置

       8. 启动 Hiveserver2

       9. Hbase 搭建：由于使用 Docker 遇到问题，改为在容器外搭建 Hbase 环境。步骤包括：

       1. 拉取容器

       2. 创建并运行容器

       3. 进入容器

       4. 修改 Hbase 配置

       5. 启动 Hbase

       6. 访问 Web 界面地址 localhost:

       . Solr 搭建：使用 Docker 方式搭建 Solr，步骤如下：

       1. 拉取镜像

       2. 运行容器

       3. 创建 collection

       4. 访问 Web 界面地址 localhost:

       . Atlas 独立部署：Atlas 2.1.0 版本独立部署依赖外部组件，不同于集成部署。步骤包括：

       1. 从 Apache Atlas 下载源码，如 apache-atlas-2.1.0-server.tar.gz

       2. 使用 Docker 镜像环境进行编译，选择之前构建的基础环境

       3. 将源码复制到容器内

       4. 修改 pom.xml 文件以适应环境依赖

       5. 执行编译命令

       6. 解压 /distro/target/apache-atlas-2.1.0-bin.tar.gz 文件

       7. 进入 bin 目录，启动应用

       至此，Atlas 2.1.0 版本独立部署完成，可访问 localhost: 查看部署结果。