皮皮网

1.MapReduce源码解析之InputFormat
2.TreeMap就这么简单源码剖析
3.三万字带你认识 Go 底层 map 的详细源实现
4.一文捋清 sync.Map的实现原理
5.go map and slice 2021-10-08
6.golang map 源码解读（8问）

MapReduce源码解析之InputFormat

       导读

       深入探讨MapReduce框架的核心组件——InputFormat。此组件在处理多样化数据类型时，源码扮演着数据格式化和分片的详细源角色。通过设置job.setInputFormatClass(TextInputFormat.class)等操作，源码程序能正确处理不同文件类型。详细源InputFormat类作为抽象基础，源码湖北联赛棋牌源码定义了文件切分逻辑和RecordReader接口，详细源用于读取分片数据。源码本节将解析InputFormat、详细源InputSplit、源码RecordReader的详细源结构与实现，以及如何在Map任务中应用此框架。源码

       类图与源码解析

       InputFormat类提供了两个关键抽象方法：getSplits()和createRecordReader()。详细源getSplits()负责规划文件切分策略，源码定义逻辑上的详细源分片，而RecordReader则从这些分片中读取数据。

       InputSplit类承载了切分逻辑，表示了给定Mapper处理的逻辑数据块，包含所有K-V对的集合。

       RecordReader类实现了数据读取流程，其子类如LineRecordReader，提供行数据读取功能，将输入流中的数据按行拆分，赋值为Key和Value。

       具体实现与操作流程

       在getSplits()方法中，FileInputFormat类负责将输入文件按照指定策略切分成多个InputSplit。

       TextInputFormat类的createRecordReader()方法创建了LineRecordReader实例，用于读取文件中的每一行数据，形成K-V对。

       Mapper任务执行时，通过调用RecordReader的nextKeyValue()方法，读取文件的每一行，完成数据处理。

       在Map任务的run()方法中，MapContextImp类实例化了一个RecordReader，用于实现数据的迭代和处理。

       总结

       本文详细阐述了MapReduce框架中InputFormat的实现原理及其相关组件，包括类图、源码解析、具体实现与操作流程。后续文章将继续探讨MapReduce框架的ncnn源码解析其他关键组件源码解析，为开发者提供深入理解MapReduce的构建和优化方法。

TreeMap就这么简单源码剖析

       本文主要讲解TreeMap的实现原理，使用的是JDK1.8版本。

       在开始之前，建议读者具备一定的数据结构基础知识。

       TreeMap的实现主要通过红黑树和比较器Comparator来保证元素的有序性。如果构造时传入了Comparator对象，则使用Comparator的compare方法进行元素比较。否则，使用Comparable接口的compareTo方法实现自然排序。

       TreeMap的核心方法有put、get和remove等。put方法用于插入元素，同时会根据Comparator或Comparable对元素进行排序。get方法用于查找指定键的值，remove方法则用于删除指定键的元素。

       遍历TreeMap通常使用EntryIterator类，该类提供了按顺序遍历元素的方法。TreeMap的遍历过程基于红黑树的结构，通过查找、比较和调整节点来实现。

       总之，TreeMap是一个基于红黑树的有序映射集合，其主要特性包括元素的有序性、高效的时间复杂度以及灵活的比较方式。在设计和实现需要有序映射的数据结构时，TreeMap是一个不错的选择。

       如有错误或疑问，欢迎在评论区指出，让我们共同进步。

       请注意，上述HTML代码片段经过了精简和格式调整，保留了原文的主要内容和结构，但为了适应HTML格式并删除了不相关的内容（如标题、关注转发等），在字数控制上也有所调整。

三万字带你认识 Go 底层 map 的实现

       map在Go语言中是一种基础数据结构，广泛应用于日常开发。其设计遵循“数组+链表”的通用思路，但Go语言在具体实现上有着独特的图片赚钱 源码设计。本文将带你深入了解Go语言中map的底层实现，包括数据结构设计、性能优化策略以及关键操作的内部实现。

       在Go语言的map中，数据存储在数组形式的桶(bucket)中，每个桶最多容纳8对键值对。哈希值的低位用于选择桶，而高位则用于在独立的桶中区分键。这种设计有助于高效地处理冲突和实现快速访问。

       源码位于src/runtime/map.go，展示了map的内部结构和操作。在该文件中，定义了桶和map的内存模型，桶的内存结构示例如下。每个桶的前7-8位未被使用，用于存储键值对，避免了不必要的内存填充。在桶的末尾，还有一个overflow指针，用于连接超过桶容量的键值对，以构建额外的桶。

       初始化map有两种方式，根据是否指定初始化大小和hint值，调用不同的函数进行分配。对于不指定大小或hint值小于8的情况，使用make_small函数直接在堆上分配。当hint值大于8时，调用makemap函数进行初始化。

       插入操作的核心是找到目标键值对的内存地址，并通过该地址进行赋值。在实现中，没有直接将值写入内存，而是返回值在内存中的对应地址，以便后续进行赋值操作。同时，当桶达到容量上限时，会创建新的溢出桶来容纳多余的数据。

       查询操作通过遍历桶来实现，找到对应的键值对。对于查询逻辑的ecshop源码结构优化，Go语言提供了不同的函数实现，如mapaccess1、mapaccess2和mapaccessK等，它们在不同场景下提供高效的关键字查找和值获取。

       当map需要扩容时，Go语言会根据装载因子进行决策，以保持性能和内存使用之间的平衡。扩容操作涉及到数据搬移，通过hashGrow()和growWork()函数实现。增量扩容增加桶的数量，而等量扩容则通过重新排列元素提高桶的利用率。

       删除操作在Go语言中同样高效，利用map的内部机制快速完成。迭代map时，可以使用特定的函数遍历键值对，实现对数据的访问和操作。

       通过深入分析Go语言中map的实现，我们可以看到Go开发者在设计时的巧妙和全面考虑，不仅关注内存效率，还考虑到数据结构在不同情况下的复用和性能优化。这种设计思想不仅体现在map自身，也对后续的缓存库等开发产生了深远的影响。

       综上所述，Go语言中map的底层实现展示了高效、灵活和强大的设计原则，为开发者提供了强大的工具，同时也启发了其他数据结构和库的设计。了解这些细节有助于我们更深入地掌握Go语言的特性，并在实际开发中做出更优的选择。

一文捋清 sync.Map的实现原理

       golang 内置的 map 类型不支持并发操作，若需并发读写，通常需配合锁使用。

       然而，加锁操作较重，golang 官方提供了 sync.Map 类型，专门用于支持并发读写。

       本文基于 go1.. linux/amd 版本的源码对 sync.Map 进行分析，旨在对 sync.Map 的原理及适用场景有更清晰的理解。

       为了提高并发访问效率，通常原则是投注源码搭建：尽量减少锁的争用，如使用原子操作替代加锁。

       sync.Map 采用读写分离 + 原子操作的方式，设置了两个 map（dirty map 和 read map），read map 通过原子方式访问，dirty map 的访问需要加锁。

       同步过程分为两类：

       sync.Map 的数据结构定义如下：

       read map 通过原子操作进行读取和写入，实际存的是 readOnly 结构。

       其中字段 m 就是普通的 map，amended 用于标识 read map 的数据是否完整（dirty map 中可能写入了新的数据，此时为 true）。

       read map 和 dirty map 底层的 map 中，存储的 value 都是 entry 结构。

       疑问：为什么这里不直接将 m 定义为 map[any]unsafe.Pointer 类型？

       其实结合下文的 entry.p 的状态可以得出结论，主要是为了并发高效地删除 key。

       删除 key 时从 read map 中删除即可，但是由于 read map 是原子操作的，因此只能整体替换整个 readOnly 结构，或者原子地将 value 中的指针置为 nil，不能直接使用 delete 关键字删除（要加锁）。

       entry.p 字段在不同阶段会有不同的取值，代表不同的状态：

       Store 操作：

       Store 方法用于向 map 中并发安全地修改或新增数据，签名如下：

       下面将源码拆成小段进行详细分析：

       首先查询 read map，如果 read map 中存在该 key，则尝试写入。这里只是进行尝试，是否能写入还需看对应 entry 的状态。

       如果 entry.p == expunged，则不能写入，因为已经经历过 read map 向 dirty map 的同步，read map 接下来会被直接替换掉，即使写入也没用。

       运行到这里，说明要么 read map 中不存在该 key，要么 read map 中存在该 key 但 entry 为 expunged 状态（即将被物理清理）。需要在锁的保护下将数据存到 dirty map 中。

       由于上一次判断到获取锁之间可能会有其他的线程修改了 read map，所以利用了 double check 再次判断 read map 是否有该 key。

       情况一：read map 中存在

       具体执行什么操作依赖于 entry 的状态：

       注意到这里的 entry 和 entry.p 都是指针，说明如果 read map 和 dirty map 中同时存在 entry，那么数据是共享的。

       情况二：read map 中不存在且 dirty 中存在

       这种情况直接原子地将值存到对应的 entry 中。

       情况三：read map 和 dirty map 都不存在

       这种情况涉及到 read map 向 read map 的同步。

       如果 read.amended == true，即 dirty map 中存在独有的 key，那么直接在 dirty map 新增 entry 即可。

       如果 read.amended == false，dirty map 中可能缺失数据（比如刚经历过 dirty map 向 read map 的同步，dirty map 可能为 nil），写入之前需要将 read map 中正常的数据同步过去。这里指的正常的数据即非 nil 状态的 entry。

       Load 操作：

       前面说可以将 read map 视为 dirty map 的快照，由于使用原子操作可以保证并发效率，因此读取时也是优先尝试 read map。

       和 Store 类似，也会有 double check 机制。

       如果 read map 中不存在且 amended == false（dirty map 中没有独有的 key），说明整个 map 中不存在该 key，直接返回 false；

       如果 read map 不存在且 amended == true，key 可能存在于 dirty map，因此加锁从 dirty map 获取。

       由于 read map 未命中，还会将 misses 计数增加 1，如果 misses 计数达到阈值，会将 dirty map 整体替换为 read map，dirty map 置为 nil。

       如果 read map 中存在 entry，则根据 entry 状态返回。nil 状态或 expunged 状态下都说明该 key 被删除，返回 false；正常状态返回 true。

       Delete 操作：

       逻辑总体和 Load 相似：

       Range 操作：

       range 操作用于遍历 sync.Map 中每个元素并执行函数。

       由于 read map 和 dirty map 数据并不完全一致，且都可能有对方不存在的 key，因此需要分情况讨论：

go map and slice --

        golang是值传递，什么情况下都是值传递

        那么，如果结构中不含指针，则直接赋值就是深度拷贝；

        如果结构中含有指针（包括自定义指针，以及slice，map等使用了指针的内置类型），则数据源和拷贝之间对应指针会共同指向同一块内存，这时深度拷贝需要特别处理。因为值传递只是把指针拷贝了

        map源码:

        /golang/go/blob/a7acf9afbdcfabfdf4/src/runtime/map.go

        map最重要的两个结构体：hmap 和 bmap

        其中 hmap 充当了哈希表中数组的角色， bmap充当了链表的角色。

        其中，单个bucket是一个叫bmap的结构体.

        Each bucket contains up to 8 key/elem pairs.

        And the low-order bits of the hash are used to select a bucket. Each bucket contains a few high-order bits of each hash to distinguish the entries within a single bucket.

        hash值的低位用来定位bucket，高位用来定位bucket内部的key

        根据上面bmap的注释和 /golang/go/blob/go1..8/src/cmd/compile/internal/gc/reflect.go ，

        我们可以推出bmap的结构实际是

        注意：在哈希桶中，键值之间并不是相邻排列的，而是键放在一起，值放在一起，来减少因为键值类型不同而产生的不必要的内存对齐

        例如map[int]int8，如果 key/elem/key/elem这样存放，那么int8类型的值就要padding 7个字节共bits

        更多可参考

        /p/

        /articles/

        因此，slice、map作为参数传递给函数形参，在函数内部的改动会影响到原slice、map

golang map 源码解读（8问）

       map底层数据结构为hmap，包含以下几个关键部分：

       1. buckets - 指向桶数组的指针，存储键值对。

       2. count - 记录key的数量。

       3. B - 桶的数量的对数值，用于计算增量扩容。

       4. noverflow - 溢出桶的数量，用于等量扩容。

       5. hash0 - hash随机值，增加hash值的随机性，减少碰撞。

       6. oldbuckets - 扩容过程中的旧桶指针，判断桶是否在扩容中。

       7. nevacuate - 扩容进度值，小于此值的已经完成扩容。

       8. flags - 标记位，用于迭代或写操作时检测并发场景。

       每个桶数据结构bmap包含8个key和8个value，以及8个tophash值，用于第一次比对。

       overflow指向下一个桶，桶与桶形成链表存储key-value。

       结构示意图在此。

       map的初始化分为3种，具体调用的函数根据map的初始长度确定：

       1. makemap_small - 当长度不大于8时，只创建hmap，不初始化buckets。

       2. makemap - 当长度参数为int时，底层调用makemap。

       3. makemap - 初始化hash0，计算对数B，并初始化buckets。

       map查询底层调用mapaccess1或mapaccess2，前者无key是否存在的bool值，后者有。

       查询过程：计算key的hash值，与低B位取&确定桶位置，获取tophash值，比对tophash，相同则比对key，获得value，否则继续寻找，直至返回0值。

       map新增调用mapassign，步骤包括计算hash值，确定桶位置，比对tophash和key值，插入元素。

       map的扩容有两种情况：当count/B大于6.5时进行增量扩容，容量翻倍，渐进式完成，每次最多2个bucket；当count/B小于6.5且noverflow大于时进行等量扩容，容量不变，但分配新bucket数组。

       map删除元素通过mapdelete实现，查找key，计算hash，找到桶，遍历元素比对tophash和key，找到后置key,value为nil，修改tophash为1。

       map遍历是无序的，依赖mapiterinit和mapiternext，选择一个bucket和offset进行随机遍历。

       在迭代过程中，可以通过修改元素的key,value为nil，设置tophash为1来删除元素，不会影响遍历的顺序。

concurrenthashmap1.8源码如何详细解析?

       ConcurrentHashMap在JDK1.8的线程安全机制基于CAS+synchronized实现，而非早期版本的分段锁。

       在JDK1.7版本中，ConcurrentHashMap采用分段锁机制，包含一个Segment数组，每个Segment继承自ReentrantLock，并包含HashEntry数组，每个HashEntry相当于链表节点，用于存储key、value。默认支持个线程并发，每个Segment独立，互不影响。

       对于put流程，与普通HashMap相似，首先定位至特定的Segment，然后使用ReentrantLock进行操作，后续过程与HashMap基本相同。

       get流程简单，通过hash值定位至segment，再遍历链表找到对应元素。需要注意的是，value是volatile的，因此get操作无需加锁。

       在JDK1.8版本中，线程安全的关键在于优化了put流程。首先计算hash值，遍历node数组。若位置为空，则通过CAS+自旋方式初始化。

       若数组位置为空，尝试使用CAS自旋写入数据；若hash值为MOVED，表示需执行扩容操作；若满足上述条件均不成立，则使用synchronized块写入数据，同时判断链表或转换为红黑树进行插入。链表操作与HashMap相同，链表长度超过8时转换为红黑树。

       get查询流程与HashMap基本一致，通过key计算位置，若table对应位置的key相同则返回结果；如为红黑树结构，则按照红黑树规则获取；否则遍历链表获取数据。

MapReduce源码解析之Mapper

       MapReduce，大数据领域的标志性计算模型，由Google公司研发，其核心概念"Map"与"Reduce"简明易懂却威力巨大，打开了大数据时代的大门。对于许多大数据工作者来说，MapReduce是基础技能之一，而源码解析更是深入理解与实践的必要途径。

       MapReduce由两部分组成：Map与Reduce。Map阶段通过映射函数将一组键值对转换成另一组键值对，而Reduce阶段则负责合并这些新的键值对。这种并行计算模型极大地提高了大数据处理的效率。

       本文将聚焦于Map阶段的核心实现——Mapper。通过解析Mapper类及其子类的源码，我们可以更深入地理解MapReduce的工作机制，并在易观千帆等技术数据处理中发挥更大的效能。

       Mapper类内部包含四个关键方法与一个抽象类：

       setup()：主要为map()方法做准备，例如加载配置文件、传递参数。

       cleanup()：用于清理资源，如关闭文件、处理Key-Value。

       map()：程序的逻辑核心，对输入的文本进行处理（如分割、过滤），以键值对的形式写入context。

       run()：驱动Mapper执行的主方法，按照预设顺序执行setup()、map()、cleanup()。

       Context抽象类扮演着重要角色，用于跟踪任务状态和数据存储，如在setup()中读取配置信息，并作为Key-Value载体。

       下面是几个Mapper子类的详细解析：

       InverseMapper：将键值对反转，适用于不同需求的统计分析。

       TokenCounterMapper：使用StringTokenizer对文本进行分割，计算特定token的数量，适用于词频统计等。

       RegexMapper：对文本进行正则化处理，适用于特定格式文本的统计。

       MultithreadedMapper：利用多线程执行Mapper任务，提高CPU利用率，适用于并发处理。

       本文对MapReduce中Mapper及其子类的源码进行了详尽解析，旨在帮助开发者更深入地理解MapReduce的实现机制。后续将探讨更多关键类源码，以期为大数据处理提供更深入的洞察与实践指导。