皮皮网

1.开源即时通讯GGTalk源码剖析之：客户端全局缓存及本地存储
2.鹅厂微创新Golang缓存组件TCache介绍
3.浅析本地缓存技术 - Guava Cache | 京东物流技术团队
4.深入浅出 MyBatis 源码的一级、二级缓存机制
5.图解+源码讲解 Nacos 客户端动态监听配置机制
6.游戏引擎随笔 0x36：UE5.x Nanite 源码解析之可编程光栅化（下）

开源即时通讯GGTalk源码剖析之：客户端全局缓存及本地存储

       继上篇详细介绍了 GGTalk 内置的分析虚拟数据库，本文将深入探讨 GGTalk 客户端的源码全局缓存及本地存储机制。对于还没有获取GGTalk源码的分析朋友，文章底部附有下载链接。源码

       一. GGTalk 客户端缓存设计

       核心在于ClientGlobalCache类，分析sata驱动源码它在内存中保存用户和群组数据。源码此类接受泛型参数TUser和TGroup，分析且限定TUser和TGroup需实现特定接口，源码还继承自BaseGlobalCache类。分析三个私有字段分别用于存储用户、源码群组和缓存信息。分析

       构造函数接收五个参数，源码用于初始化私有字段，分析并调用父类BaseGlobalCache的源码Initialize方法，实现缓存初始化逻辑。

       二. GGTalk 客户端本地持久化存储

       BaseGlobalCache类中，originUserLocalPersistence字段负责本地文件存储。它包含四个属性，代表好友列表、群组列表、快捷回复列表和最近联系人/群列表。

       Load和Save方法用于读写本地文件，将数据存入或从文件加载。在了解本地缓存的核心概念后，回到Initialize方法，读取本地文件数据，缓存到内存中。

       三. 更新本地缓存

       在用户登录或断线重连时，系统会比较本地缓存与服务器数据，更新缺失或过时的信息。当缓存中只有用户自己时，会从服务器加载所有联系人；当存在其他数据时，会更新本地缓存以反映服务器最新状态。

       四. 总结

       GGTalk客户端缓存流程包括读取本地缓存、从服务器加载更新数据，以及在窗口关闭时将当前用户数据缓存。下篇将解析消息收发及处理机制。

       敬请期待：《GGTalk 开源即时通讯系统源码剖析之：消息收发及处理》。底部链接提供下载GGTalk源码。

鹅厂微创新Golang缓存组件TCache介绍

       一个 Golang 自研小组件，TCache 介绍

       作者：frank、maxy、lark 等。

       TCache 是一个 Golang 团队自研的缓存组件，旨在优化视频会员场景下高并发请求的压力，减少底层存储压力，提升系统可用性。设计时，我们考虑了开源组件如布隆过滤器、位图、localcache 的特点和优劣，以业务需求为出发点，集成这些组件形成整体解决方案。

       TCache 设计目标

       主要目标是源码海洋破解为视频会员服务提供高效缓存，应对大量 APP 请求，减轻存储层压力，并增强系统稳定性。经过调研，我们发现现有开源组件适合不同场景，因此决定整合这些组件，通过配置化设计，让业务根据自身需求选择合适的缓存策略。

       整体架构

       TCache 分为四层架构：业务场景层、中间件层、组件层与算法层。业务场景层直接与应用交互，中间件层集成了多种缓存算法，组件层基于开源组件实现，算法层则深入研究缓存技术原理。

       组件结构

       TCache 集成了多种缓存组件，包括 KV 型结构 Cache、BitMap、BloomFilter 与大型计数器 Hyperloglog。此外，我们计划集成更多组件以覆盖更多业务场景。

       Cache 组件设计

       提供了统一的 cache 接口，支持用户自定义底层缓存实现，包括默认实现与本地缓存组件 localcache 的接口定义。

       BitMap 组件设计

       BitMap 组件集成经典 BitMap 与 Roaring 位图算法，提供单一操作 API，便于业务集成使用。组件结构清晰，代码接口明确。

       开发过程

       TCache 的开发过程始于团队转型 Golang 时的技术积累与开源组件分析，通过源码阅读、论文研读，深入了解组件技术，最终形成组件化设计。团队持续研究缓存替换算法、位图算法，通过实验对比分析，提炼出业务适用的缓存策略。

       功能分析

       本地缓存强调数据一致性与吞吐量，支持多线程访问与内存限制，适用于缓存热点数据。常见组件如 freecache、fastcache、bigcache 等，提供线程安全、高命中率与高效管理的特性。

       源码分析

       深入研究开源组件，如 BigCache、BloomFilter、RoaringBitmap，通过建模与代码分析，了解组件实现原理与优化策略。

       算法研究

       研究缓存替换算法，包括 Belady 最优策略、桌球源码lua随机策略、先进先出、最近不使用、最不经常使用、重引用间隔预测等。通过实验对比分析，提炼出适用于不同场景的缓存策略。

       实验研究

       通过功能与性能对比研究，推荐不同缓存组件在特定场景下的应用，如 freecache、bigcache、fastcache、localcache 等，以及针对数据持久化与热启动的组件。

       组件化

       整合多种组件形成 TCache，通过组件化设计，让业务灵活选择缓存策略，提高系统性能与稳定性。

       总结

       TCache 的开发是一个无心插柳的成果，整合了团队的技术积累与业务需求。通过研究、实验与优化，我们找到了适合视频会员服务的缓存解决方案。未来，结合 AIGC 等新技术，开发出更多原创组件，有可能推动开发行业的变革。

浅析本地缓存技术 - Guava Cache | 京东物流技术团队

       本地缓存技术，特别是 Guava Cache，作为 Java 开发中的重要工具，其在实际项目中的应用广受好评。Guava Cache 提供了高效的缓存管理机制，大大提升了应用性能。本文从应用场景、使用方式、源码分析以及总结四个方面，深入解析 Guava Cache 的特性及其在开发过程中的应用。

       应用场景

       本地缓存的优势在于数据读写都在同一个进程中进行，避免了网络传输的延迟，访问速度得到显著提升。然而，这也意味着它受到 JVM 内存的限制，不适用于数据量特别庞大的场景。因此，Guava Cache 主要适用于以下场景：

       参数配置存储：在应用程序中，参数配置通常频繁访问，但改动较少，此时缓存配置可以显著提升性能。

       使用方式

       Guava Cache 的核心类包括 CacheBuilder 和 Cache。CacheBuilder 用于构建缓存，而 Cache 则用于存放缓存数据。引入 Maven 依赖后，你可以按照以下步骤创建和使用缓存：

       实例化缓存

       设置缓存初始化参数，如初始容量、华夏复古源码最大缓存数、并发等级、写入后刷新时间等。

       使用 get 方法获取数据，若不存在则通过指定的 Callable 方法构造缓存。

       实现数据的被动删除与主动删除。

       存储原理

       Guava Cache 的数据结构基于 ConcurrentHashMap，但其设计更为灵活，能够通过设置自动回收机制限制内存占用。核心类 LocalCache 实现了 ConcurrentMap 接口，其数据结构主要由 Segment 数组、ReferenceEntry 链表和 AtomicReferenceArray 组成。通过 Segment 数组实现并发操作，每个 Segment 拥有独立的锁，确保了高并发下的数据安全。

       总结

       本文对 Guava Cache 的应用场景、使用方式、存储原理进行了深入探讨，帮助开发者理解其在实际开发中的应用。通过阅读本文，你将对常见的 Guava Cache 有一个清晰的认识，并能够在项目中高效地应用它，提升系统性能。

深入浅出 MyBatis 的一级、二级缓存机制

       深入浅出 MyBatis 的一级、二级缓存机制

       缓存机制是提升系统性能的关键手段之一，MyBatis 作为一款优秀的持久层框架，同样提供了缓存支持，分为一级缓存和二级缓存。一级缓存是 SqlSession 级别的缓存，而二级缓存则是 Mapper 级别的缓存。在实际应用中，理解并合理使用缓存可以显著提升系统的响应速度和性能。

       一级缓存的作用是存储 SqlSession 执行的 SQL 查询结果，当再次执行相同 SQL 时，如果缓存命中，则直接返回缓存中的数据，避免了重复查询数据库。一级缓存的内部结构通过 DefaultSqlSession 类中的 PerpetualCache 实现，当用户发起查询时，MyBatis 在 Local Cache 中进行查询，如果命中则返回结果，未命中则查询数据库并将结果写入 Cache。

       一级缓存的配置默认为 SESSION 级别，但也可以设置为 STATEMENT 级别，以更细粒度地控制缓存范围。通过实验可以直观地观察到一级缓存的效果，比如查询、修改数据库操作对缓存的影响，以及不同 SqlSession 之间的缓存隔离。

       一级缓存的工作流程涉及 SqlSession、Executor 和 Cache，其中 Executor 执行 SQL 请求并负责缓存管理，Cache 接口提供缓存的scrapy的源码基本操作。通过源码分析，可以深入理解一级缓存的实现细节，包括缓存的创建、查询和刷新机制。

       二级缓存的引入是为了实现多个 SqlSession 之间的缓存数据共享，它基于 namespace 进行管理，使得同一个 namespace 下的操作共享缓存。二级缓存的配置需要在全局配置文件中开启，并确保实体类实现 Serializable 接口以支持缓存数据的序列化与反序列化。

       通过实验，可以验证二级缓存与一级缓存的差异，比如测试缓存与 SqlSession 的关系、执行 commit 操作对缓存的影响，以及多表查询场景下的缓存问题和解决方案。

       二级缓存的工作流程类似于一级缓存，涉及 CachingExecutor、TransactionalCache 等组件，通过装饰器模式实现缓存的管理。源码分析揭示了二级缓存的实现细节，包括缓存的创建、查询、刷新以及与事务的交互。

       总结而言，MyBatis 的一级缓存和二级缓存提供了数据缓存功能，有助于提升系统性能，但需要根据实际应用场景合理配置和使用。一级缓存在多个 SqlSession 或分布式环境下可能存在局限性，而二级缓存在多表查询场景中也可能导致脏数据问题。生产环境中通常建议关闭缓存机制，以避免潜在的问题。

图解+源码讲解 Nacos 客户端动态监听配置机制

       图解+源码讲解 Nacos 客户端动态监听配置机制

       在人生中第一要紧的是发现自己。为了这个目的，各位时常需要孤独和深思 —— 南森 Nacos 源码分析系列相关文章

       从零开始看 Nacos 源码环境搭建

       图解+源码讲解 Nacos 客户端发起注册流程

       图解+源码讲解 Nacos 服务端处理注册请求逻辑

       图解+源码讲解 Nacos 客户端下线流程

       图解+源码讲解 Nacos 服务端处理下线请求

       图解+源码讲解 Nacos 客户端发起心跳请求

       图解+源码讲解 Nacos 服务端处理心跳请求

       图解+源码讲解 Nacos 服务端处理配置获取请求

       图解+源码讲解 Nacos 客户端动态监听配置机制

NacosConfigAutoConfiguration

       我们看到这里面其实注入了一个 Nacos 配置刷新的关键 NacosContextRefresherBean

@Configuration@ConditionalOnProperty(name?=?"spring.cloud.nacos.config.enabled",?matchIfMissing?=?true)public?class?NacosConfigAutoConfiguration?{ //?Nacos?配置属性@Beanpublic?NacosConfigProperties?nacosConfigProperties(ApplicationContext?context)?{ if?(context.getParent()?!=?null&&?BeanFactoryUtils.beanNamesForTypeIncludingAncestors(context.getParent(),?NacosConfigProperties.class).length?>?0)?{ return?BeanFactoryUtils.beanOfTypeIncludingAncestors(context.getParent(),NacosConfigProperties.class);}return?new?NacosConfigProperties();}//?Nacos?配置刷新属性@Beanpublic?NacosRefreshProperties?nacosRefreshProperties()?{ return?new?NacosRefreshProperties();}//?Nacos?刷新历史@Beanpublic?NacosRefreshHistory?nacosRefreshHistory()?{ return?new?NacosRefreshHistory();}//?Nacos?配置管理@Beanpublic?NacosConfigManager?nacosConfigManager(NacosConfigProperties?nacosConfigProperties)?{ return?new?NacosConfigManager(nacosConfigProperties);}//?Nacos?配置刷新@Beanpublic?NacosContextRefresher?nacosContextRefresher(NacosConfigManager?nacosConfigManager,NacosRefreshHistory?nacosRefreshHistory)?{ return?new?NacosContextRefresher(nacosConfigManager,?nacosRefreshHistory);}}NacosContextRefresher 配置中心刷新public?NacosContextRefresher(NacosConfigManager?nacosConfigManager,NacosRefreshHistory?refreshHistory)?{ //?获取配置属性信息this.nacosConfigProperties?=?nacosConfigManager.getNacosConfigProperties();//?刷新历史this.nacosRefreshHistory?=?refreshHistory;//?获取配置服务this.configService?=?nacosConfigManager.getConfigService();//?是否开启刷新，是truethis.isRefreshEnabled?=?this.nacosConfigProperties.isRefreshEnabled();}获取配置服务 getConfigService

       nacosConfigManager.getConfigService()，这行代码其实就是为了创建 NcaosConfigService 对象，我们看看你是怎么创建的，其实核心代码就是通过 NacosFactory 反射创建的 NcaosConfigService 对象，这个对象是一个核心对象后续会讲到的

public?static?ConfigService?createConfigService(Properties?properties)?throws?NacosException?{ try?{ //?加载?NacosConfigService?类Class<?>?driverImplClass?=?Class.forName("com.alibaba.nacos.client.config.NacosConfigService");//?获取构造器Constructor?constructor?=?driverImplClass.getConstructor(Properties.class);//?创建实例ConfigService?vendorImpl?=?(ConfigService)?constructor.newInstance(properties);return?vendorImpl;}?catch?(Throwable?e)?{ throw?new?NacosException(NacosException.CLIENT_INVALID_PARAM,?e);}}监听器

       NacosContextRefresher 实现了 ApplicationListener ，一看这就是一个监听器了，我们看看这个在监听器里面做了什么操作

@Overridepublic?void?onApplicationEvent(ApplicationReadyEvent?event)?{ //?这是一个?CAS?操作，只设置一次if?(this.ready.compareAndSet(false,?true))?{ //?注册?Nacos?监听器对于应用this.registerNacosListenersForApplications();}}注册 Nacos 监听/**

       register Nacos Listeners. 注册Nacos监听器 */ private void registerNacosListenersForApplications() { // 默认是 true if (isRefreshEnabled()) { // 遍历Nacos属性资源中心 for (NacosPropertySource propertySource : NacosPropertySourceRepository .getAll()) { if (!propertySource.isRefreshable()) { continue; } // 获取资源ID ?String dataId = propertySource.getDataId(); // 通过组和 dataId 注册 Nacos 监听器 registerNacosListener(propertySource.getGroup(), dataId); } } }

       private void registerNacosListener(final String groupKey, final String dataKey) { // 构建 Key 信息 String key = NacosPropertySourceRepository.getMapKey(dataKey, groupKey); // 在 listenerMap中放入了 key 对应 AbstractSharedListener 响应的方法 Listener listener = listenerMap.computeIfAbsent(key, lst -> new AbstractSharedListener() { @Override public void innerReceive(String dataId, String group, String configInfo) { // 刷新次数 refreshCountIncrement(); // 记录刷新历史，就是改变历史 nacosRefreshHistory.addRefreshRecord(dataId, group, configInfo); // 发布刷新事件 applicationContext.publishEvent( new RefreshEvent(this, null, "Refresh Nacos config")); } }); // 向配置服务中添加监听器 configService.addListener(dataKey, groupKey, listener);

       }

####?向配置服务中添加监听器&nbsp;&nbsp;&nbsp;&nbsp;此时调用的是?NacosConfigService?中的?addListener?方法，但是最终执行的还是?ClientWorker?中的?addTenantListeners?方法，后面会进行分析?ClientWorker?这个类的```java@Overridepublic?void?addListener(String?dataId,?String?group,?Listener?listener)?throws?NacosException?{ //?这个?ClientWorker?worker?也是一个核心类worker.addTenantListeners(dataId,?group,?Arrays.asList(listener));}构建 CacheData 信息

       此时向 ClientWorker 中的 CacheData 中添加数据，之后遍历监听器添加到 CacheData 中

创建 CacheData 对象public?CacheData(ConfigFilterChainManager?configFilterChainManager,?String?name,?String?dataId,?String?group,String?tenant)?{ //?dataId?不能为空if?(null?==?dataId?||?null?==?group)?{ throw?new?IllegalArgumentException("dataId="?+?dataId?+?",?group="?+?group);}this.name?=?name;this.configFilterChainManager?=?configFilterChainManager;this.dataId?=?dataId;?//?设置dataIdthis.group?=?group;?//?设置组信息this.tenant?=?tenant;?//?设置租户listeners?=?new?CopyOnWriteArrayList<ManagerListenerWrap>();?//?装饰器集合this.isInitializing?=?true;//?加载缓存数据从本地磁盘this.content?=?loadCacheContentFromDiskLocal(name,?dataId,?group,?tenant);//?计算本地缓存信息的MD5this.md5?=?getMd5String(content);}向 CacheData 中添加数据public?void?addTenantListeners(String?dataId,?String?group,List<?extends?Listener>?listeners)throws?NacosException?{ //?DefaultGroupgroup?=?null2defaultGroup(group);String?tenant?=?agent.getTenant();?//?是?""//?向缓存数据中添加监听器CacheData?cache?=?addCacheDataIfAbsent(dataId,?group,?tenant);for?(Listener?listener?:?listeners)?{ cache.addListener(listener);}}public?CacheData?addCacheDataIfAbsent(String?dataId,?String?group,?String?tenant)throws?NacosException?{ //?获取Key信息String?key?=?GroupKey.getKeyTenant(dataId,?group,?tenant);//?在缓存?Map?中获取缓存数据CacheData?cacheData?=?cacheMap.get(key);//?如果不为空的情况下那么就返回，如果为空那么就创建一个?CacheDataif?(cacheData?!=?null)?{ return?cacheData;}//?创建一个?CacheData?cacheData?=?new?CacheData(configFilterChainManager,?agent.getName(),dataId,?group,?tenant);//?将创建好的?cacheData?放入缓存?Map?中CacheData?lastCacheData?=?cacheMap.putIfAbsent(key,?cacheData);//?如果缓存数据为空的话那么从配置中心拉取，不过此时不为空if?(lastCacheData?==?null)?{ //fix?issue?#?if?(enableRemoteSyncConfig)?{ String[]?ct?=?getServerConfig(dataId,?group,?tenant,?L);cacheData.setContent(ct[0]);}//?计算任务IDint?taskId?=?cacheMap.size()?/?(int)?ParamUtil.getPerTaskConfigSize();//?设置任务IDcacheData.setTaskId(taskId);lastCacheData?=?cacheData;}//?缓存数据初始化完成//?reset?so?that?server?not?hang?this?checklastCacheData.setInitializing(true);LOGGER.info("[{ }]?[subscribe]?{ }",?agent.getName(),?key);MetricsMonitor.getListenConfigCountMonitor().set(cacheMap.size());//?返回最新的缓存数据return?lastCacheData;}

       到这里 CacheData 对象 和 cacheMap 集合已经构建完成了，后续会用到这个数据的

NacosConfigService 分析

       NacosConfigService这个类在创建的时候主要做了什么事情,这这里面创建了一个 ClientWorker对象，这个对象是一个核心的类，有关于配置的一些操作都是归功于 ClientWorker类

public?NacosConfigService(Properties?properties)?throws?NacosException?{ ......this.agent?=?new?MetricsHttpAgent(new?ServerHttpAgent(properties));this.agent.start();//?核心工作类this.worker?=?new?ClientWorker(this.agent,this.configFilterChainManager,?properties);}核心配置类 ClientWorker

       分析一下这个类都在做什么事情，都有哪些核心方法 其实能看到里面有一个构造函数、添加缓存数据、添加监听器、检查配置中心相关方法、获取服务配置、解析数据响应、移除缓存数据、删除监听器以及 shutdown方法

构造函数

       看到这里其实看到了定义了两个调度线程池，一个是用于配置检测的，一个是用于执行长轮询服务的

@SuppressWarnings("PMD.ThreadPoolCreationRule")public?ClientWorker(final?HttpAgent?agent,final?ConfigFilterChainManager?configFilterChainManager,?final?Properties?properties){ this.agent?=?agent;this.configFilterChainManager?=?configFilterChainManager;//?初始化操作init(properties);//?定义一个调度线程池，只有一个线程还是守护线程this.executor?=?Executors.newScheduledThreadPool(1,?new?ThreadFactory()?{ @Overridepublic?Thread?newThread(Runnable?r)?{ Thread?t?=?new?Thread(r);t.setName("com.alibaba.nacos.client.Worker."?+?agent.getName());t.setDaemon(true);return?t;}});//?定义一个多个线程的调度线程池，线程个数和CPU?核心数有关，也是守护线程，是一个长轮询this.executorService?=?Executors.newScheduledThreadPool(Runtime.getRuntime().availableProcessors(),?new?ThreadFactory()?{ @Overridepublic?Thread?newThread(Runnable?r)?{ Thread?t?=?new?Thread(r);t.setName("com.alibaba.nacos.client.Worker.longPolling."?+agent.getName());t.setDaemon(true);return?t;}});//?定义一个定时的调度任务，第一次执行的时候延时1毫秒，后续毫秒调度一次this.executor.scheduleWithFixedDelay(new?Runnable()?{ @Overridepublic?void?run()?{ try?{ //?检查配置信息方法checkConfigInfo();}?catch?(Throwable?e)?{ LOGGER.error("["?+?agent.getName()?+?"]?"+?"[sub-check]?rotate?check?error",?e);}}},?1L,?L,?TimeUnit.MILLISECONDS);}检查配置服务方法

       这个 cacheMap 包含了一些任务信息，这里面的任务是怎么来的呢，他是在添加监听器的时候添加的，上面已经分析过了

public?NacosContextRefresher(NacosConfigManager?nacosConfigManager,NacosRefreshHistory?refreshHistory)?{ //?获取配置属性信息this.nacosConfigProperties?=?nacosConfigManager.getNacosConfigProperties();//?刷新历史this.nacosRefreshHistory?=?refreshHistory;//?获取配置服务this.configService?=?nacosConfigManager.getConfigService();//?是否开启刷新，是truethis.isRefreshEnabled?=?this.nacosConfigProperties.isRefreshEnabled();}0长轮询任务 LongPollingRunnable

游戏引擎随笔 0x：UE5.x Nanite 源码解析之可编程光栅化（下）

       书接上回。

       在展开正题之前，先做必要的铺垫，解释纳尼特(Nanite)技术方案中的Vertex Reuse Batch。纳尼特在软光栅路径实现机制中，将每个Cluster对应一组线程执行软光栅，每ThreadGroup有个线程。在光栅化三角形时访问三角形顶点数据，但顶点索引范围可能覆盖整个Cluster的个顶点，因此需要在光栅化前完成Cluster顶点变换。纳尼特将变换后的顶点存储于Local Shared Memory(LDS)中，进行组内线程同步，确保所有顶点变换完成，光栅化计算时直接访问LDS，实现软光栅高性能。

       然而，在使用PDO(Masked)等像素可编程光栅化时，纳尼特遇到了性能问题。启用PDO或Mask时，可能需要读取Texture，根据读取的Texel决定像素光栅化深度或是否被Discard。读取纹理需计算uv坐标，而uv又需同时计算重心坐标，增加指令数量，降低寄存器使用效率，影响Active Warps数量，降低延迟隐藏能力，导致整体性能下降。复杂材质指令进一步加剧问题。

       此外，当Cluster包含多种材质时，同一Cluster中的三角形被重复光栅化多次，尤其是材质仅覆盖少数三角形时，大量线程闲置，浪费GPU计算资源。

       为解决这些问题，纳尼特引入基于GPU SIMT/SIMD的Vertex Reuse Batch技术。技术思路如下：将每个Material对应的三角形再次分为每个为一组的Batch，每Batch对应一组线程，每个ThreadGroup有个线程，正好对应一个GPU Warp。利用Wave指令共享所有线程中的变换后的顶点数据，无需LDS，减少寄存器数量，增加Warp占用率，提升整体性能。

       Vertex Reuse Batch技术的启用条件由Shader中的NANITE_VERT_REUSE_BATCH宏控制。

       预处理阶段，纳尼特在离线时构建Vertex Reuse Batch，核心逻辑在NaniteEncode.cpp中的BuildVertReuseBatches函数。通过遍历Material Range，统计唯一顶点数和三角形数，达到顶点去重和优化性能的目标。

       最终，数据被写入FPackedCluster，根据材质数量选择直接或通过ClusterPageData存储Batch信息。Batch数据的Pack策略确保数据对齐和高效存储。

       理解Vertex Reuse Batch后，再来回顾Rasterizer Binning的数据：RasterizerBinData和RasterizerBinHeaders。在启用Vertex Reuse Batch时，这两者包含的是Batch相关数据，Visible Index实际指的是Batch Index，而Triangle Range则对应Batch的三角形数量。

       当Cluster不超过3个材质时，直接从FPackedCluster中的VertReuseBatchInfo成员读取每个材质对应的BatchCount。有了BatchCount，即可遍历所有Batch获取对应的三角形数量。在Binning阶段的ExportRasterizerBin函数中，根据启用Vertex Reuse Batch的条件调整BatchCount，表示一个Cluster对应一个Batch。

       接下来，遍历所有Batch并将其对应的Cluster Index、Triangle Range依次写入到RasterizerBinData Buffer中。启用Vertex Reuse Batch时，通过DecodeVertReuseBatchInfo函数获取Batch对应的三角形数量。对于不超过3个材质的Cluster，DecodeVertReuseBatchInfo直接从Cluster的VertReuseBatchInfo中Unpack出Batch数据，否则从ClusterPageData中根据Batch Offset读取数据。

       在Binning阶段的AllocateRasterizerBinCluster中，还会填充Indirect Argument Buffer，将当前Cluster的Batch Count累加，用于硬件光栅化Indirect Draw的Instance参数以及软件光栅化Indirect Dispatch的ThreadGroup参数。这标志着接下来的光栅化Pass中，每个Instance和ThreadGroup对应一个Batch，以Batch为光栅化基本单位。

       终于来到了正题：光栅化。本文主要解析启用Vertex Reuse Batch时的软光栅源码，硬件光栅化与之差异不大，此处略过。此外，本文重点解析启用Vertex Reuse Batch时的光栅化源码，对于未启用部分，除可编程光栅化外，与原有固定光栅化版本差异不大，不再详细解释。

       CPU端针对硬/软光栅路径的Pass，分别遍历所有Raster Bin进行Indirect Draw/Dispatch。由于Binning阶段GPU中已准备好Draw/Dispatch参数，因此在Indirect Draw/Dispatch时只需设置每个Raster Bin对应的Argument Offset即可。

       由于可编程光栅化与材质耦合，导致每个Raster Bin对应的Shader不同，因此每个Raster Bin都需要设置各自的PSO。对于不使用可编程光栅化的Nanite Cluster，即固定光栅化，为不降低原有性能，在Shader中通过两个宏隔绝可编程和固定光栅化的执行路径。

       此外，Shader中还包括NANITE_VERT_REUSE_BATCH宏，实现软/硬光栅路径、Compute Pipeline、Graphics Pipeline、Mesh Shader、Primitive Shader与材质结合生成对应的Permutation。这部分代码冗长繁琐，不再详细列出讲解，建议自行阅读源码。

       GPU端软光栅入口函数依旧是MicropolyRasterize，线程组数量则根据是否启用Vertex Reuse Batch决定。

       首先判断是否使用Rasterizer Binning渲染标记，启用时根据VisibleIndex从Binning阶段生成的RasterizerBinHeaders和RasterizerBinData Buffer中获取对应的Cluster Index和光栅化三角形的起始范围。当启用Vertex Reuse Batch，这个范围是Batch而非Cluster对应的范围。

       在软光栅中，每线程计算任务分为三步。第一步利用Wave指令共享所有线程中的Vertex Attribute，线程数设置为Warp的Size，目前为，每个Lane变换一个顶点，最多变换个顶点。由于三角形往往共用顶点，直接根据LaneID访问顶点可能重复，为确保每个Warp中的每个Lane处理唯一的顶点，需要去重并返回当前Lane需要处理的唯一顶点索引，通过DeduplicateVertIndexes函数实现。同时返回当前Lane对应的三角形顶点索引，用于三角形设置和光栅化步骤。

       获得唯一顶点索引后，进行三角形设置。这里代码与之前基本一致，只是写成模板函数，将Sub Pixel放大倍数SubpixelSamples和是否背面剔除bBackFaceCull作为模板参数，通过使用HLSL 语法实现。

       最后是光栅化三角形写入像素。在Virtual Shadow Map等支持Nanite的场景下，定义模板结构TNaniteWritePixel来实现不同应用环境下Nanite光栅化Pipeline的细微差异。

       在ENABLE_EARLY_Z_TEST宏定义时，调用EarlyDepthTest函数提前剔除像素，减少后续重心坐标计算开销。当启用NANITE_PIXEL_PROGRAMMABLE宏时，可以使用此机制提前剔除像素。

       最后重点解析前面提到的DeduplicateVertIndexes函数。

       DeduplicateVertIndexes函数给每个Lane返回唯一的顶点索引，同时给当前Lane分配三角形顶点索引以及去重后的顶点数量。

       首先通过DecodeTriangleIndices获取Cluster Local的三角形顶点索引，启用Cluster约束时获取所有Lane中最小的顶点索引，即顶点基索引。将当前三角形顶点索引（Cluster Local）减去顶点基索引，得到相对顶点基索引的局部顶点索引。

       接下来生成顶点标志位集合。遍历三角形三个顶点，将局部顶点索引按顺序设置到对应位，表示哪些顶点已被使用。每个标志位是顶点的索引，并在已使用的顶点位置处设置为1。使用uint2数据类型，最多表示个顶点位。

       考虑Cluster最多有个顶点，为何使用位uint2来保存Vertex Mask而非位？这是由于Nanite在Build时启用了约束机制（宏NANITE_USE_CONSTRAINED_CLUSTERS），该机制保证了Cluster中的三角形顶点索引与当前最大值之差必然小于（宏CONSTRAINED_CLUSTER_CACHE_SIZE），因此，生成的Triangle Batch第一个索引与当前最大值之差将不小于，并且每个Batch最多有个唯一顶点，顶点索引差的最大值为，仅需2个位数据即可。约束机制确保使用更少数据和计算。

       将所有Lane所标记三个顶点的Vertex Mask进行位合并，得到当前Wave所有顶点位掩码。通过FindNthSetBit函数找出当前Lane对应的Mask索引，加上顶点基索引得到当前Lane对应的Cluster Local顶点索引。

       接下来获取当前Lane对应的三角形的Wave Local的三个顶点索引，用于后续通过Wave指令访问其他Lane中已经计算完成的顶点属性。通过MaskedBitCount函数根据Vertex Mask以及前面局部顶点索引通过前缀求和得到当前Lane对应的Vertex Wave Local Index。

       最后统计Vertex Mask所有位，返回总计有效的顶点数量。

       注意FindNthSetBit函数，实现Lane与顶点局部索引（减去顶点基索引）的映射，返回当前Lane对应的Vertex Mask中被设置为1的位索引。如果某位为0，则返回下一个位为1的索引。如果Mask中全部位都设置为1，则实际返回为Lane索引。通过二分法逐渐缩小寻找索引范围，不断更新所在位置，最后返回找到的位置索引。

       最后，出于验证目的进行了Vertex Reuse Batch的性能测试。在材质包含WPO、PDO或Mask时关闭Vertex Reuse Batch功能，与开启功能做对比。测试场景为由每颗万个三角形的树木组成的森林，使用Nsight Graphics进行Profiling，得到GPU统计数据如下：

       启用Vertex Reuse Batch后，软光栅总计耗时减少了1.毫秒。SM Warp总占用率有一定提升。SM内部工作量分布更加均匀，SM Launch的总Warp数量提升了一倍。长短板Stall略有增加，但由于完全消除了由于LDS同步导致的Barrier Stall，总体性能还是有很大幅度的提升。

       至此，Nanite可编程光栅化源码解析讲解完毕。回顾整个解析过程，可以发现UE5团队并未使用什么高深的黑科技，而是依靠引擎开发者强悍的工程实现能力完成的，尤其是在充分利用GPU SIMT/SIMD机制榨干机能的同时，保证了功能与极限性能的实现。这种能力和精神，都很值得我们学习。

从源码解析Electron的安装为什么这么慢

       Electron的安装速度慢主要源于其跨平台特性导致的二进制基座差异化和默认下载机制。本文通过解析源码，揭示了下载过程中的关键环节。

       安装过程：

       当通过npm install electron -D命令下载时，如果没有配置特定的镜像，npm会默认下载对应平台的二进制基座。这个过程可能会因为网络原因或镜像源选择而变得缓慢。

       解决方法：

       设置.npmrc文件中的ELECTRON_MIRROR，指向国内镜像源，如'pleteFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。