1.消息中间件Pulsar
2.被视为代替Kafka的源码消息队列：Apache Pulsar设计简介
3.pulsar篇-基本介绍
4.实用干货！大数据入门的源码常用技术栈全在这里了
5.专访 PMC，开源项目 Apache Pulsar 如何挑战 Kafka？
6.为什么要学习 Apache Pulsar

消息中间件Pulsar

       消息中间件Pulsar的源码发展与特性概述

       近年，Pulsar在业界得到快速的源码发展与广泛应用，大量企业将其纳入消息处理架构中。源码Pulsar，源码代挂源码1002代挂源码一款由Yahoo在年内部开发的源码开源消息中间件，于年开源并捐献给Apache，源码年成为Apache顶级项目。源码其架构设计与功能特性使其在消息处理领域展现出独特优势。源码

       Pulsar采用计算存储分离架构，源码Broker集群负责消息的源码传输与负载均衡，同时利用Apache BookKeeper作为持久化存储。源码Pulsar通过BookKeeper实现高效、源码可靠的源码数据存储，其中Ledger为只追加数据结构，具有单一写入者特性，确保数据的一致性与可扩展性。

       Pulsar架构中，Broker节点不存储数据，实现节点对等设计。当Broker节点出现故障时，数据不会丢失，仅需将服务的Topic迁移至其他节点。每个Topic由多个逻辑分区组成，每个分区下有多个segment，writer在写入时选择Bookies进行并行写操作，进一步强化了节点的对等性。

       Pulsar具备出色的扩展与扩容能力。在应对如双十一等高流量场景时，通过增加Consumer节点，无需考虑数据迁移，Broker集群的负载均衡功能可自动调整流量分配。对于BookKeeper，通过独立扩展bookies来满足存储需求，无需考虑Broker节点，确保数据一致性与可用性。

       Pulsar的容错机制强大，Broker不保存数据，节点故障时，客户端仅需断开连接，网站源码 带后台重新连接其他Broker即可。BookKeeper通过多副本机制提供高可用性，即便单节点故障，后台线程会自动处理数据恢复，保障数据不丢失。

       Apache BookKeeper作为Pulsar的基础存储，展现出易扩展、高可用、运维简单等特性。在BookKeeper中，客户端可从任意副本读取数据，这提高了数据访问效率与系统容错能力。

       BookKeeper的客户端使用Netty实现异步I/O，优化网络I/O性能，采用单个TCP连接进行多路复用，显著提升吞吐量。通过分离I/O路径，实现写入、追尾读与追赶读的高效执行，进一步优化数据读取性能。

       Pulsar支持多租户管理，通过统一的认证与授权机制，实现集群资源的高效分配与管理。租户作为topic的基本单位，支持跨集群分布，满足大型企业级应用的多元化需求。

       消息模型方面，Pulsar采用消息流结构，由多个segment与entry组成，每个entry包含独立的message。消息结构包含Ledger-id、entry-id、batch-index与partition-index，确保消息的唯一性与可追溯性。消息创建与消费过程通过Broker代理完成，提高了消息处理效率与系统稳定性。

       Pulsar的消费模型提供多样的订阅方式，包括Shared与Key_Shared模式，确保消息的并发消费与顺序性。Cursor机制用于协调多个consumer之间的视频聊天 源码消费顺序，支持消息重试与优化消费流程。Broker代理层的存在简化了consumer与producer与底层存储交互，提高了系统的可扩展性与性能。

       Zookeeper在Pulsar系统中作为元数据存储与服务发现的关键组件，用于保存策略元数据与集群配置元数据，减少对Zookeeper的依赖，增强系统的独立性与可靠性。

       Pulsar与Kafka对比，在消费模式、消息确认、消息保留等方面展现出独特优势。Pulsar支持队列的共享订阅，提供灵活的消息确认机制与支持TTL的消息保留策略，同时具备无状态的Broker设计与分层存储能力，提高系统的扩展性与可用性。然而，Pulsar项目相对较新，社区活跃度有待提高，与Kafka在社区成熟度与依赖关系上存在差异。

       综上所述，Pulsar凭借其高效、稳定与灵活的架构设计，以及针对企业级应用的多租户支持与丰富消息模型，成为消息处理领域的一股新力量，展现出强大的竞争力与应用潜力。随着社区的持续发展与技术的不断优化，Pulsar有望在消息中间件领域占据更多市场份额，为更多企业提供高效、可靠的通信与数据处理解决方案。

被视为代替Kafka的消息队列：Apache Pulsar设计简介

       在传统消息系统中，面临的主要问题在于消息存储和服务的紧密耦合，导致节点的扩容和运维不便。特别是在需要多备份以确保高可用性的场景下，问题尤为突出。此外，固定的消息消费模式使得企业内部需要维护多套系统以适应不同的消息消费场景。同时，多租户、多机房互备等企业级特性在传统消息系统中并不丰富。

       Apache Pulsar引入了一种分层架构，源码天空头像成功地解决了存储与计算之间的耦合问题，并提供了卓越的扩展性和维护性。通过订阅层的抽象，Pulsar实现了统一的消息消费模型，极大简化了企业内部的系统维护工作。在设计初期，Pulsar就高度重视多租户、多机房互备等企业级需求，提供了一系列全面的企业级特性。

       Apache Pulsar在Yahoo全球近十个机房的内部大规模部署中，稳定服务于邮箱、金融、Flickr、广告、NoSQL等应用，创建了多个租户和多万个topic。智联招聘在年将其作为内部消息总线，替换原有的RabbitMQ，服务于多个应用，每日产生6亿多条消息和3TB数据。Pulsar在减轻硬件、运维和部署成本的同时，为系统提供了更高质量的服务和更佳的扩展性。

       Apache Pulsar是一个基于Apache Bookkeeper提供持久化的pub/sub消息平台，其特点包括跨地域复制、多租户、零Rebalancing时间等。

       架构设计中，Pulsar采用分层结构，将存储机制与broker分离，从而带来以下优势：

       跨地域复制：全局集群可在名称空间级别配置，实现任意数量集群（n-wayMesh解决方案）的复制。即使数据中心C无消费者，数据中心A或B仍能根据订阅模型消费消息。

       多租户：通过数据存储的隔离，多租户特性帮助企业建立Pulsar集群，大大降低了基础设施建设和运营成本。

       零Rebalancing时间：Pulsar的分层架构和代理的无状态性质使得在添加新的broker时，无需对集群进行rebalancing，新节点立即可用。带后台的网站源码从Bookies角度看，添加新节点时，数据rebalance在后台进行，对集群无影响。

       统一的队列和流模型：Pulsar使用单一模型支持流和队列语义，通过订阅模型实现，使得消费者能够使用任何订阅主题。

       函数：在Pulsar内部或外部存在，用于基于内容的路由，帮助企业应用程序根据预期的消息进行路由。

       Proxy：当broker部署在云或Kubernetes中时，需要使用proxy将broker暴露至外部世界。Proxy具备身份验证和授权功能，并内置了将授权令牌传递给broker以进行命名空间权限验证的能力。

       综上所述，Apache Pulsar以其独特的架构设计和丰富的企业级特性，成为了一个强大的替代Kafka的消息队列平台，为现代企业级应用提供了高效、可靠和灵活的消息传递解决方案。

pulsar篇-基本介绍

       Apache Pulsar是一个云原生的分布式消息与流处理平台，它在Kafka的基础上实现了更高级别的功能。Pulsar的独特之处在于其创新的架构设计和关键特性。

       首先，Pulsar的架构采用Client-Proxy-Server模型，与传统的消息系统有所不同。它将服务分为两层：无状态的Broker层和底层的BookKeeper。Broker不直接存储数据，而是通过BookKeeper来存储消息和管理Topic/Partitions的代理权，确保数据一致性与负载均衡。Meta信息则存储在Zookeeper中，确保了系统的可靠性。

       BookKeeper作为Pulsar的核心存储组件，是一个分布式预写日志系统，不仅存储消息数据，还持久化了消费端的cursors（消费位置），使得Pulsar的扩展性更强。当Broker发生故障时，Pulsar通过fencing机制，将Topic的代理权转移给其他正常运行的Broker，这个过程类似于raft选举，确保了服务的连续性。

       在与Kafka的对比中，Pulsar的消费模式、消息确认机制以及消息保留策略都有所不同，展现出了其独特的优势。例如，Pulsar提供了更灵活的消费模式，支持实时处理和存储消息，而Kafka则更侧重于持久化和顺序性。虽然Pulsar在某些方面可能不如Kafka稳定，但其高效和实时性是其显著的优势。

       总的来说，Pulsar凭借其创新的架构和功能，为实时流处理提供了强大的解决方案，尤其在处理实时数据和低延迟通信场景中，展现出了强大的竞争力。

实用干货！大数据入门的常用技术栈全在这里了

       大数据领域不断前进，技术栈也跟随进化。从解决数据规模问题到提高数据消费效率，实时性、云上迁移成为挑战。下文精选技术栈，助你驾驭大数据领域：

       Apache Kylin™ 分析引擎提供高效处理大规模数据能力，通过简洁的SQL接口支持多维分析，与多种可视化工具结合。仅需三步，即可轻松完成超大数据集的亚秒级查询，适用于 eBay、腾讯、美团点评等全球企业。

       Apache Flink 实时计算引擎，引领技术升级，具备高吞吐低延时性能，助力海量数据处理亚秒响应。Flink 1.9 版本更新，性能和易用性显著提升。

       Apache Pulsar 集消息、存储和计算于一身，采用先进计算和存储分离架构，结合 BookKeeper 分片存储，提供高吞吐、低延时、分布式强一致、故障自恢复等核心特性，适用于云原生分布式流数据管理。

       Apache HBase 非关系型分布式数据库，面向列式，高性能且可靠，专为存储松散数据设计。HBase 支持大规模数据存储，通过水平扩展，应对超过亿行及数百万列元素的数据表。

       Apache Cassandra 分布式NoSQL数据库，源于Facebook，支持完全分布式架构及Google BigTable数据模型。具备良好扩展性与性能，位列DB-Engines Ranking宽列存储数据库榜首，被Apple、eBay、Netflix等广泛应用。

专访 PMC，开源项目 Apache Pulsar 如何挑战 Kafka？

       在开源中国 OSChina 的独家专访中，我们采访了StreamNative的联合创始人兼CTO翟佳，深入了解Apache Pulsar在挑战Kafka的过程中展现的优势。StreamNative，一家专注于Pulsar的商业公司，凭借其团队的深厚技术背景，正推动Pulsar在流数据处理领域的发展。

       StreamNative最近完成数百万美元Pre-A轮融资，并加入CNCF，其团队由Pulsar和BookKeeper项目的原生核心开发者组成。Pulsar，起初由Yahoo在年为构建统一消息平台开发，采用分层分片的架构，上层Broker提供无状态服务，底层BookKeeper提供高性能IO服务。

       在Pulsar Summit的测试中，Pulsar显示了显著的成本、延迟和资源效率优势，比如帮助Splunk降低成本1.5-2倍，延迟降低5-倍，同时在Yahoo的部署中，Pulsar以更低的硬件成本支持更大规模的业务，且保持高数据服务质量。

       尽管Kafka在开源消息系统中拥有高知名度，但Pulsar在技术生态上展现出更强的竞争力。Pulsar的云原生和流数据特性使其在存储计算分离、资源池化和高可用性上优于Kafka。例如，Pulsar通过列存模式支持批处理，实现批流融合，同时提供了Serverless计算功能——Pulsar Functions，方便用户处理简单计算任务。

       StreamNative作为Pulsar的商业支持者，不仅提供云端托管服务，还积极参与社区运营，推动Pulsar生态的成熟。公司成立于年，由Pulsar早期贡献者和PMC成员组成，聚焦Pulsar社区和云服务，其产品StreamNative Cloud以Pulsar为基础，为用户提供全托管服务。

       翟佳强调，开源项目与商业公司相辅相成，StreamNative通过支持社区和商业用户，推动Pulsar技术的发展。Pulsar在金融、零售和IoT等领域应用广泛，这不仅加强了项目生态，也为StreamNative提供了商业机会。投资人在看到Pulsar技术优势和StreamNative的发展潜力后，对其未来充满信心。

为什么要学习 Apache Pulsar

       云原生架构在年由Matt Stine提出，历经多次演变，如今它被定义为DevOps、持续交付、微服务和容器的融合。基于这一理念，符合云原生的应用通过开源工具（如Kubernetes和Docker）进行容器化，采用微服务架构以提高灵活性和可维护性，通过敏捷方法和DevOps实现快速迭代和自动化运维，同时借助云平台的弹性伸缩和动态调度优化资源利用。

       Apache Pulsar是一个备受瞩目的云原生企业级消息系统，由Yahoo开发并于年开源，现已成为Apache软件基金会的顶级项目。它在Yahoo众多应用中如Yahoo Mail、Yahoo Finance等生产环境中稳定运行多年。由于官方文档的翻译和入门教程的缺乏，学习过程中可能会遇到一些问题。Pulsar具备的关键特性包括多租户模式、灵活的消息处理机制、云原生设计以及支持分片流和跨地域复制等。

       Pulsar采用计算与存储分离的架构，利用无状态Broker和持久化存储BookKeeper集群，实现了数据的独立扩展和快速恢复。其Segmented Streams功能允许数据以分片的形式分布在不同存储层，提供无限接近的存储容量。此外，跨地域复制功能确保在集群故障时，消息服务的高可用性得以保障。

       与Apache Kafka对比，Pulsar结合了高性能流处理和传统队列的灵活性。Pulsar的API支持流和队列操作，且性能优于Kafka。Kafka在扩展性上存在问题，如分区迁移耗时、消息顺序管理困难、副本状态管理复杂等，而这些在Pulsar中得到了优化。学习Pulsar对于构建高性能的数据处理平台，特别是在实时数据流处理和大数据开发中，具有重要意义。

Apache BookKeeper的 基础类库 - BufferedChannel

       BufferedChannel是Apache BookKeeper中的一种基础类库，用于实现数据的缓冲读取和写入操作。该类库提供了高效的数据传输机制，使得在进行数据处理时，能够有效提升性能和稳定性。

       BufferedChannel基类在Apache BookKeeper的架构中扮演着核心角色。它继承自其他类，如BufferedReadChannel和BufferedChannel，形成了一个层次分明、功能丰富的类库结构。

       BufferedChannelBase作为BufferedChannel的基类，提供了基础的缓冲数据处理方法和接口。这包括初始化、关闭、读取和写入数据等功能，为后续的类提供了通用的实现模板。

       BufferedReadChannel是BufferedChannel的一个子类，专用于处理数据的读取操作。它继承自BufferedChannelBase，继承并扩展了基础类的功能，实现了更高效的缓冲读取机制。通过使用BufferedReadChannel，用户能够以更高效的方式读取存储在BookKeeper中的数据，减少读取时的I/O开销。

       而BufferedChannel同样继承自BufferedChannelBase，它提供了一种通用的数据缓冲机制，适用于数据的读取和写入操作。通过BufferedChannel，用户可以方便地进行数据的批量操作，提高数据处理的性能和效率。

       总体而言，BufferedChannel类库通过其层次化的设计，提供了高效、灵活的数据缓冲处理能力，为Apache BookKeeper的应用提供了强大的支持。通过合理利用BufferedChannel的各种类和接口，开发者能够构建出高性能、稳定的数据处理系统，满足不同场景下的需求。