皮皮网

1.Golang核心概念【map】使用方法超详细总结
2.golang map 源码解读（8问）
3.浅谈Golang两种线程安全的源码map
4.golang之map详解 - 基础数据结构
5.Go语言学习（2）--map的底层原理
6.彻底理解Golang Map

Golang核心概念【map】使用方法超详细总结

       深入解析Golang中的map，从基础概念到实际应用，源码全面总结map的源码使用方法。以下内容结构化为多个段落，源码详细阐述了map的源码各个方面：

       定义：Golang中的map是一种无序的键值对集合，键和值的源码完美狂指标源码类型可以独立选择，零值为nil，源码表示空map。源码

       创建与初始化：通过内置make函数或map字面量创建map，源码示例展示了创建键值类型为string和int的源码map。

       访问元素：使用键访问map中的源码元素，若键不存在，源码返回值类型的源码零值，通过两个值的源码形式区分零值和不存在的键。

       插入与修改：直接通过键值对插入或修改元素，源码操作简便快捷。

       删除元素：使用delete函数从map中删除元素，确保数据结构的动态调整。

       遍历：通过for循环结合range遍历map，注意遍历顺序随机，每次可能不同。

       并发处理：为安全地在多个goroutine中使用map，推荐使用sync.Map，提供并发安全的方法。

       性能考量：map的性能依赖于键的比较速度和哈希函数效率，Golang实现高效，但耗时操作可能影响性能。

       局限性：map的键需可比较，不能使用切片、map或函数作为键，且非并发安全，需同步处理。

       实际应用：map广泛用于计数器、缓存、配置存储等场景，示例展示如何用map计算字符串中字符出现次数。

       最佳实践：遵循一些使用map的最佳实践，以优化代码质量和性能。

       相关资源推荐：总结了理解和运用Golang中的spring 源码获取beanmap所需的基本功，提供了进一步学习和深入实践的资源。

golang map 源码解读（8问）

       map底层数据结构为hmap，包含以下几个关键部分：

       1. buckets - 指向桶数组的指针，存储键值对。

       2. count - 记录key的数量。

       3. B - 桶的数量的对数值，用于计算增量扩容。

       4. noverflow - 溢出桶的数量，用于等量扩容。

       5. hash0 - hash随机值，增加hash值的随机性，减少碰撞。

       6. oldbuckets - 扩容过程中的旧桶指针，判断桶是否在扩容中。

       7. nevacuate - 扩容进度值，小于此值的已经完成扩容。

       8. flags - 标记位，用于迭代或写操作时检测并发场景。

       每个桶数据结构bmap包含8个key和8个value，以及8个tophash值，用于第一次比对。

       overflow指向下一个桶，桶与桶形成链表存储key-value。

       结构示意图在此。

       map的初始化分为3种，具体调用的函数根据map的初始长度确定：

       1. makemap_small - 当长度不大于8时，只创建hmap，不初始化buckets。

       2. makemap - 当长度参数为int时，底层调用makemap。

       3. makemap - 初始化hash0，计算对数B，并初始化buckets。

       map查询底层调用mapaccess1或mapaccess2，前者无key是否存在的bool值，后者有。

       查询过程：计算key的hash值，与低B位取&确定桶位置，beego orm 源码分析获取tophash值，比对tophash，相同则比对key，获得value，否则继续寻找，直至返回0值。

       map新增调用mapassign，步骤包括计算hash值，确定桶位置，比对tophash和key值，插入元素。

       map的扩容有两种情况：当count/B大于6.5时进行增量扩容，容量翻倍，渐进式完成，每次最多2个bucket；当count/B小于6.5且noverflow大于时进行等量扩容，容量不变，但分配新bucket数组。

       map删除元素通过mapdelete实现，查找key，计算hash，找到桶，遍历元素比对tophash和key，找到后置key,value为nil，修改tophash为1。

       map遍历是无序的，依赖mapiterinit和mapiternext，选择一个bucket和offset进行随机遍历。

       在迭代过程中，可以通过修改元素的key,value为nil，设置tophash为1来删除元素，不会影响遍历的顺序。

浅谈Golang两种线程安全的map

       文章标题：浅谈Golang两种线程安全的map

       导语：本文将深入探讨Golang中的本地缓存库选择与对比，帮助您解决困惑。

       Golang map并发读写测试：

       在Golang中，原生的map在并发场景下的读写操作是线程不安全的，无论key是否相同。具体来说，当并发读写map的Io说天气源码不同key时，运行结果会出现并发错误，因为map在读取时会检查hashWriting标志。如果存在该标志，即表示正在写入，此时会报错。在写入时，会设置该标志：h.flags |= hashWriting。设置完成后，系统会取消该标记。

       使用-race编译选项可以检测并发问题，这是通过Golang的源码分析、文章解析和官方博客中详细解释的。

       map+读写锁实现：

       在官方sync.map库推出之前，推荐使用map与读写锁（RWLock）的组合。通过定义一个匿名结构体变量，包含map、RWLock，可以实现读写操作。

       具体操作方法如下：从counter中读取数据，往counter中写入数据。然而，sync.map和这种实现方式有何不同？它在性能优化方面做了哪些改进？

       sync.map实现：

       sync.map使用读写分离策略，通过空间换取时间，优化了并发性能。相较于map+RWLock的实现，它在某些特定场景中减少锁竞争的可能性，因为可以无锁访问read map，并优先操作read map。如果仅操作read map即可满足需求（如增删改查和遍历），则无需操作write map，后者在读写时需要加锁。

       sync.map的源码深入分析：

       接下来，我们将着重探讨sync.Map的源码，以理解其运作原理，包括结构体Map、readOnly、entry等。

       sync.Map方法介绍：

       sync.Map提供了四个关键方法：Store、当天抓涨停源码Load、Delete、Range。具体功能如下：

       Load方法：解释Map.dirty如何提升为Map.read的机制。

       Store方法：介绍tryStore函数、unexpungeLocked函数和dirtyLocked函数的实现。

       Delete方法：简单总结。

       Range方法：简单总结。

       sync.Map总结：

       sync.Map更适用于读取频率远高于更新频率的场景（appendOnly模式，尤其是key存一次，多次读取且不删除的情况），因为在key存在的情况下，读写删操作可以无锁直接访问readOnly。不建议用于频繁插入与读取新值的场景，因为这会导致dirty频繁操作，需要频繁加锁和更新read。此时，github开源库orcaman/concurrent-map可能更为合适。

       设计点：expunged：

       expunged是entry.p值的三种状态之一。当使用Store方法插入新key时，会加锁访问dirty，并将readOnly中未被标记为删除的所有entry指针复制到dirty。此时，之前被Delete方法标记为软删除的entry（entry.p被置为nil）都会变为expunged状态。

       sync.map其他问题：

       sync.map为何不实现len方法？这可能涉及成本与收益的权衡。

       orcaman/concurrent-map的适用场景与实现：

       orcaman/concurrent-map适用于反复插入与读取新值的场景。其实现思路是对Golang原生map进行分片加锁，降低锁粒度，从而达到最少的锁等待时间（锁冲突）。

       它实现简单，部分源码如下，包括数据结构和函数介绍。

       后续：

       在其他业务场景中，可能需要本地kv缓存组件库，支持键过期时间设置、淘汰策略、存储优化、GC优化等功能。此时，可能需要了解freecache、gocache、fastcache、bigcache、groupcache等组件库。

       参考链接：

       链接1：blogs.com/JoZSM/archives/，jianshu.com/p/fe，my.oschina.net/renhc/blog/。

Go语言学习（2）--map的底层原理

       Golang的Map底层是通过HashTable实现的，创建map时实际返回的是runtime/map.go中hmap对象的指针。hmap中buckets指向的是bucket数组的指针，bucket数组大小由B决定，通常为2^B个。单个bucket结构体内部不直接定义keys、values和overflow，而是通过指针运算访问。

       在查找、插入和删除过程中，通过哈希函数将键转换为哈希值，然后使用哈希值对bucket进行定位。查找时直接访问哈希表中对应的bucket，插入和删除操作涉及更新bucket中的键值对。

       Map的扩容机制基于负载因子，负载因子用于衡量冲突情况，定义为bucket数量与键值对数量的比值。当负载因子大于6.5，或者overflow数量超过时，Map会触发扩容。扩容时，新bucket长度为原bucket长度的2倍，旧bucket数据搬迁到新bucket。为了减少一次性搬迁带来的延迟，Go采用逐步搬迁策略，每次访问map时触发搬迁，每次搬迁2个键值对。

       扩容后，新bucket存储新插入的键值对，老bucket中的键值对逐步搬迁到新bucket。搬迁完成后，删除老bucket。搬迁过程中，老bucket中的键值对将位于新bucket的前部，新插入的键值对位于新bucket的后部。

       等量扩容是重新组织bucket，提升bucket的使用率，而不是简单地增加容量。在某些极端场景下，如果键值对集中在少数bucket，可能导致overflow的bucket数量增多，但负载因子不高，无法执行增量搬迁。这时进行一次等量扩容，可以减少overflow的bucket数量，优化访问效率。

彻底理解Golang Map

       本文深度解析Golang Map的内部实现原理，从引用类型、结构组成、操作流程、线程安全、哈希冲突等角度展开，帮助读者全面理解Golang Map的核心机制。

       Golang Map底层实现基于hmap结构体，由多个bmap（桶）数组组成，每个桶内采用链表结构存储键值对。在每个桶内，通过哈希计算结果的高8位确定键的具体位置，最多可容纳8个键。

       Map结构体中还包括mapextra，用于存储不包含指针的键值对，以及overflow字段，用于存放指向额外桶的数据。Map作为引用类型，底层通过指针操作，实现在函数中修改其值。

       Map提供三个主要操作：创建、查找与赋值。创建时，可通过`make`函数生成，内部会随机生成哈希种子，计算桶数量，并分配内存。查找与赋值过程涉及哈希计算、桶定位、链表遍历等步骤。赋值时，会触发Map的扩容机制，以提高效率。

       Map默认为非线程安全，存在并发写入时可能导致数据错误。为实现线程安全，可采用读写锁或使用`sync.Map`结构体。`sync.Map`提供读写分离的实现，避免了频繁加锁带来的性能损耗。

       查找Map时，键经过哈希函数计算后，结果用于确定桶位置。接着在桶内遍历链表，查找对应键值对。查找逻辑优化后，编译器会生成更高效的具体查找函数。

       赋值操作中，Map会进行扩容与迁移，以适应数据增长。在迁移过程中，会逐步将数据从旧桶移动到新桶，以保持性能稳定。此外，Map还支持删除操作，通过查找并清除键值对来实现。

       触发Map扩容的条件有两个：装载因子超过阈值或overflow桶数量过多。阈值设置为6.5，表示桶已接近满载。扩容时，增加桶的数量，并将原有数据逐步迁移至新桶，以提高查找与插入效率。

       整体而言，Golang Map设计简洁高效，通过巧妙的哈希算法与内存管理机制，提供了强大的数据存储与检索能力，同时也为开发者提供了丰富的API进行数据操作。理解其内部实现原理，有助于在实际开发中更好地利用Map特性，解决复杂问题。

Golang中map的遍历顺序到底是怎样的？

       在Golang中，对map的多次遍历所得序列可能不同。这一设计考虑是为了防止开发者误以为每次遍历map都会得到稳定的输出序列，从而依赖于这一特性进行开发，导致潜在的bug。

       当使用range循环遍历map时，迭代顺序未指定，并且不能保证在每次迭代中相同。自Go 1.0版本起，运行时会随机化map的迭代顺序。开发者最初依赖于Go早期版本中稳定的迭代顺序，但这种顺序在不同实现之间有所差异，导致了可移植性问题。如果需要稳定的迭代顺序，必须维护一个单独的数据结构来指定该顺序。

       这种特性是如何实现的？让我们看看源代码（省略无关细节）：

       源码显示，map底层通过fastrand函数生成随机数r，然后通过r进行与操作计算出startBucket和offset，再调用mapiternext进行遍历。因此，每次遍历map的起点都是随机的，从而导致不同的输出序列。

       在许多博客和文章中，都说map的遍历是随机选择一个起点然后开始遍历的，只有少数提到了遍历顺序的，也都是按照bucket和cell的顺序依次遍历。这时，你可能会产生疑问：如果是按照bucket和cell的顺序遍历，那么起点相同，我们得到的序列一定就相同吗？

       接下来，我将展示一段代码：

       注意，我没有直接使用fmt打印key值，因为fmt可能会对map进行排序。你可以在 这里查看排序规则。

       下面是我某一次的运行结果：

       为什么会这样？明明都是从2开始遍历，却得到了不同的遍历序列？

       我重新阅读了mapiternext的源码，终于找到了原因。以下代码已省略无关细节：

       这段代码的逻辑是对于每个新访问的bucket，i在0到bucketCnt（值为8）之间迭代，然后通过offi := (i + it.offset) & (bucketCnt - 1)计算出offi，从而确定我们要访问的cell的位置。到这里，我们已经找到了答案：bucket的顺序确实是一个一个去遍历的，但是每次访问一个新的bucket时，我们并不是从0号cell开始访问，而是从offset对应的cell开始访问的！

       以我上面程序的后两行输出为例，第二行的情况可能是这样的（为了方便理解，我直接把key值放在cell中了）：

       这样去遍历，得到的序列自然是：2 7 0 1 3 4 5 6 8 9

       而第三行的输出，可能是下面这样的情形：

       这里offset为0，而0号cell是空的，所以输出的第一个key仍然是2，但这不代表起点是2所在的cell！这样，当我们访问Bucket 0时，就是从0号cell开始访问，于是得到的输出序列为：

       2 7 8 9 0 1 3 4 5 6