Go語言設(shè)計與實現(xiàn)（上）

基本設(shè)計思路：

創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：做網(wǎng)站、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的敦煌網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

類型轉(zhuǎn)換、類型斷言、動態(tài)派發(fā)。iface，eface。

反射對象具有的方法：

編譯優(yōu)化：

內(nèi)部實現(xiàn)：

實現(xiàn) Context 接口有以下幾個類型（空實現(xiàn)就忽略了）：

互斥鎖的控制邏輯：

設(shè)計思路：

（以上為寫被讀阻塞，下面是讀被寫阻塞）

總結(jié)，讀寫鎖的設(shè)計還是非常巧妙的：

設(shè)計思路：

WaitGroup 有三個暴露的函數(shù):

部件：

設(shè)計思路：

結(jié)構(gòu)：

Once 只暴露了一個方法：

實現(xiàn)：

三個關(guān)鍵點：

細(xì)節(jié)：

讓多協(xié)程任務(wù)的開始執(zhí)行時間可控（按順序或歸一）。（Context 是控制結(jié)束時間）

設(shè)計思路： 通過一個鎖和內(nèi)置的 notifyList 隊列實現(xiàn)，Wait() 會生成票據(jù)，并將等待協(xié)程信息加入鏈表中，等待控制協(xié)程中發(fā)送信號通知一個（Signal()）或所有（Boardcast()）等待者（內(nèi)部實現(xiàn)是通過票據(jù)通知的）來控制協(xié)程解除阻塞。

暴露四個函數(shù)：

實現(xiàn)細(xì)節(jié)：

部件：

包： golang.org/x/sync/errgroup

作用：開啟 func() error 函數(shù)簽名的協(xié)程，在同 Group 下協(xié)程并發(fā)執(zhí)行過程并收集首次 err 錯誤。通過 Context 的傳入，還可以控制在首次 err 出現(xiàn)時就終止組內(nèi)各協(xié)程。

設(shè)計思路：

結(jié)構(gòu)：

暴露的方法：

實現(xiàn)細(xì)節(jié)：

注意問題：

包： "golang.org/x/sync/semaphore"

作用：排隊借資源（如錢，有借有還）的一種場景。此包相當(dāng)于對底層信號量的一種暴露。

設(shè)計思路：有一定數(shù)量的資源 Weight，每一個 waiter 攜帶一個 channel 和要借的數(shù)量 n。通過隊列排隊執(zhí)行借貸。

結(jié)構(gòu)：

暴露方法：

細(xì)節(jié)：

部件：

細(xì)節(jié)：

包： "golang.org/x/sync/singleflight"

作用：防擊穿。瞬時的相同請求只調(diào)用一次，response 被所有相同請求共享。

設(shè)計思路：按請求的 key 分組（一個 *call 是一個組，用 map 映射存儲組），每個組只進(jìn)行一次訪問，組內(nèi)每個協(xié)程會獲得對應(yīng)結(jié)果的一個拷貝。

結(jié)構(gòu)：

邏輯：

細(xì)節(jié)：

部件：

如有錯誤，請批評指正。

golang結(jié)構(gòu)體組合與“多態(tài)” 2021-08-06

如：

核心思想就是， 外層實現(xiàn)接口，通過遞歸嵌套將被實現(xiàn)的接口實例置于內(nèi)層，從而達(dá)到外層定義，內(nèi)層使用的效果 ：

BaseBase和Derived都是外層結(jié)構(gòu)體，在它們這一層實現(xiàn)了F2()。ori_impl_1以及ori_impl_2都是外層結(jié)構(gòu)體實現(xiàn)的B接口實例，置于內(nèi)層完成調(diào)用

struct中的字段可以不用給名稱，這時稱為匿名字段。匿名字段的名稱強(qiáng)制和類型相同。例如：

如果struct中嵌套的struct類型是自己的指針類型，可以用來生成鏈表或二叉樹等數(shù)據(jù)結(jié)構(gòu)

例如，定義一個單鏈表數(shù)據(jù)結(jié)構(gòu)

Go語言list（列表）

2021-11-10

列表是一種非連續(xù)的存儲容器，有多個節(jié)點組成，節(jié)點通過一些變量記錄彼此之間的關(guān)系

單鏈表和雙鏈表就是列表的兩種方法。

原理：A、B、C三個人，B懂A的電話，C懂B的電話只是單方知道號碼，這樣就形成了一個單鏈表結(jié)構(gòu)。

如果C把自己的號碼給B，B把自己的號碼給A，因為是雙方都知道對方的號碼，這樣就形成了一個雙鏈表結(jié)構(gòu)

如果B換號碼了，他需要通知AC，把自己的號碼刪了，這個過程就是列表的刪除操作。

在Go語言中，列表使用 container/list 包來實現(xiàn)，內(nèi)部的實現(xiàn)原理是雙鏈表，列表能夠高效地進(jìn)行任意位置的元素插入和刪除操作。

列表初始化的兩種辦法

列表沒有給出具體的元素類型的限制，所以列表的元素可以是任意類型的，

例如給列表中放入了一個 interface{} 類型的值，取出值后，如果要將 interface{} 轉(zhuǎn)換為其他類型將會發(fā)生宕機(jī)。

雙鏈表支持從隊列前方或后方插入元素，分別對應(yīng)的方法是 PushFront 和 PushBack。

列表插入函數(shù)的返回值會提供一個 *list.Element 結(jié)構(gòu)，這個結(jié)構(gòu)記錄著列表元素的值以及與其他節(jié)點之間的關(guān)系等信息，從列表中刪除元素時，需要用到這個結(jié)構(gòu)進(jìn)行快速刪除。

遍歷完也能看到最后的結(jié)果

學(xué)習(xí)地址：

golang map源碼淺析

golang 中 map的實現(xiàn)結(jié)構(gòu)為： 哈希表 + 鏈表。 其中鏈表，作用是當(dāng)發(fā)生hash沖突時，拉鏈法生成的結(jié)點。

可以看到， []bmap 是一個hash table， 每一個 bmap是我們常說的“桶”。 經(jīng)過hash 函數(shù)計算出來相同的hash值， 放到相同的桶中。 一個 bmap中可以存放 8個 元素， 如果多出8個，則生成新的結(jié)點，尾接到隊尾。

以上是只是靜態(tài)文件 src/runtime/map.go 中的定義。 實際上編譯期間會給它加料 ，動態(tài)地創(chuàng)建一個新的結(jié)構(gòu)：

上圖就是 bmap的內(nèi)存模型， HOB Hash 指的就是 top hash。 注意到 key 和 value 是各自放在一起的，并不是 key/value/key/value/... 這樣的形式。源碼里說明這樣的好處是在某些情況下可以省略掉 padding 字段，節(jié)省內(nèi)存空間。

每個 bmap設(shè)計成 最多只能放 8 個 key-value 對 ，如果有第 9 個 key-value 落入當(dāng)前的 bmap，那就需要再構(gòu)建一個 bmap，通過 overflow 指針連接起來。

map創(chuàng)建方法:

我們實際上是通過調(diào)用的 makemap ，來創(chuàng)建map的。實際工作只是初始化了hmap中的各種字段，如：設(shè)置B的大小， 設(shè)置hash 種子 hash 0.

注意 :

makemap 返回是*hmap 指針， 即 map 是引用對象， 對map的操作會影響到結(jié)構(gòu)體內(nèi)部 。

使用方式

對應(yīng)的是下面兩種方法

map的key的類型，實現(xiàn)了自己的hash 方式。每種類型實現(xiàn)hash函數(shù)方式不一樣。

key 經(jīng)過哈希計算后得到hash值，共 64 個 bit 位。 其中后B 個bit位置， 用來定位當(dāng)前元素落在哪一個桶里， 高8個bit 為當(dāng)前 hash 值的top hash。 實際上定位key的過程是一個雙重循環(huán)的過程， 外層循環(huán)遍歷 所有的overflow， 內(nèi)層循環(huán)遍歷 當(dāng)前bmap 中的 8個元素 。

舉例說明： 如果當(dāng)前 B 的值為 5， 那么buckets 的長度 為 2^5 = 32。假設(shè)有個key 經(jīng)過hash函數(shù)計算后，得到的hash結(jié)果為：

外層遍歷bucket 中的鏈表

內(nèi)層循環(huán)遍歷 bmap中的8個 cell

建議先不看此部分內(nèi)容，看完后續(xù) 修改 map中元素 - 擴(kuò)容 操作后 再回頭看此部分內(nèi)容。

擴(kuò)容前的數(shù)據(jù)：

等量擴(kuò)容后的數(shù)據(jù)：

等量擴(kuò)容后，查找方式和原本相同， 不多做贅述。

兩倍擴(kuò)容后的數(shù)據(jù)

兩倍擴(kuò)容后，oldbuckets 的元素，可能被分配成了兩部分。查找順序如下：

此處只分析 mapaccess1 ,。 mapaccess2 相比 mapaccess1 多添加了是否找到的bool值， 有興趣可自行看一下。

使用方式：

步驟如下：

擴(kuò)容條件 ：

擴(kuò)容的標(biāo)識 ： h.oldbuckets ！= nil

假設(shè)當(dāng)前定位到了新的buckets的3號桶中，首先會判斷oldbuckets中的對應(yīng)的桶有沒有被搬遷過。 如果搬遷過了，不需要看原來的桶了，直接遍歷新的buckets的3號桶。

擴(kuò)容前：

等量擴(kuò)容結(jié)果

雙倍擴(kuò)容會將old buckets上的元素分配到x， y兩個部key 1 B == 0 分配到x部分，key 1 B == 1 分配到y(tǒng)部分

注意： 當(dāng)前只對雙倍擴(kuò)容描述， 等量擴(kuò)容只是重新填充了一下元素， 相對位置沒有改變。

假設(shè)當(dāng)前map 的B == 5，原本元素經(jīng)過hash函數(shù)計算的 hash 值為：

因為雙倍擴(kuò)容之后 B = B + 1，此時B == 6。key 1 B == 1, 即 當(dāng)前元素rehash到高位，新buckets中 y 部分. 否則 key 1 B == 0 則rehash到低位，即x 部分。

使用方式：

可以看到，每一遍歷生成迭代器的時候，會隨機(jī)選取一個bucket 以及 一個cell開始。 從前往后遍歷，再次遍歷到起始位置時，遍歷完成。

徹底理解Golang Map

本文目錄如下，閱讀本文后，將一網(wǎng)打盡下面Golang Map相關(guān)面試題

Go中的map是一個指針，占用8個字節(jié)，指向hmap結(jié)構(gòu)體; 源碼 src/runtime/map.go 中可以看到map的底層結(jié)構(gòu)

每個map的底層結(jié)構(gòu)是hmap，hmap包含若干個結(jié)構(gòu)為bmap的bucket數(shù)組。每個bucket底層都采用鏈表結(jié)構(gòu)。接下來，我們來詳細(xì)看下map的結(jié)構(gòu)

bmap 就是我們常說的“桶”，一個桶里面會最多裝 8 個 key，這些 key 之所以會落入同一個桶，是因為它們經(jīng)過哈希計算后，哈希結(jié)果是“一類”的，關(guān)于key的定位我們在map的查詢和插入中詳細(xì)說明。在桶內(nèi)，又會根據(jù) key 計算出來的 hash 值的高 8 位來決定 key 到底落入桶內(nèi)的哪個位置（一個桶內(nèi)最多有8個位置)。

bucket內(nèi)存數(shù)據(jù)結(jié)構(gòu)可視化如下：

注意到 key 和 value 是各自放在一起的，并不是 key/value/key/value/... 這樣的形式。源碼里說明這樣的好處是在某些情況下可以省略掉 padding字段，節(jié)省內(nèi)存空間。

當(dāng) map 的 key 和 value 都不是指針，并且 size 都小于 128 字節(jié)的情況下，會把 bmap 標(biāo)記為不含指針，這樣可以避免 gc 時掃描整個 hmap。但是，我們看 bmap 其實有一個 overflow 的字段，是指針類型的，破壞了 bmap 不含指針的設(shè)想，這時會把 overflow 移動到 extra 字段來。

map是個指針，底層指向hmap，所以是個引用類型

golang 有三個常用的高級類型 slice 、map、channel, 它們都是 引用類型 ，當(dāng)引用類型作為函數(shù)參數(shù)時，可能會修改原內(nèi)容數(shù)據(jù)。

golang 中沒有引用傳遞，只有值和指針傳遞。所以 map 作為函數(shù)實參傳遞時本質(zhì)上也是值傳遞，只不過因為 map 底層數(shù)據(jù)結(jié)構(gòu)是通過指針指向?qū)嶋H的元素存儲空間，在被調(diào)函數(shù)中修改 map，對調(diào)用者同樣可見，所以 map 作為函數(shù)實參傳遞時表現(xiàn)出了引用傳遞的效果。

因此，傳遞 map 時，如果想修改map的內(nèi)容而不是map本身，函數(shù)形參無需使用指針

map 底層數(shù)據(jù)結(jié)構(gòu)是通過指針指向?qū)嶋H的元素 存儲空間 ，這種情況下，對其中一個map的更改，會影響到其他map

map 在沒有被修改的情況下，使用 range 多次遍歷 map 時輸出的 key 和 value 的順序可能不同。這是 Go 語言的設(shè)計者們有意為之，在每次 range 時的順序被隨機(jī)化，旨在提示開發(fā)者們，Go 底層實現(xiàn)并不保證 map 遍歷順序穩(wěn)定，請大家不要依賴 range 遍歷結(jié)果順序。

map 本身是無序的，且遍歷時順序還會被隨機(jī)化，如果想順序遍歷 map，需要對 map key 先排序，再按照 key 的順序遍歷 map。

map默認(rèn)是并發(fā)不安全的，原因如下：

Go 官方在經(jīng)過了長時間的討論后，認(rèn)為 Go map 更應(yīng)適配典型使用場景（不需要從多個 goroutine 中進(jìn)行安全訪問），而不是為了小部分情況（并發(fā)訪問），導(dǎo)致大部分程序付出加鎖代價（性能），決定了不支持。

場景: 2個協(xié)程同時讀和寫，以下程序會出現(xiàn)致命錯誤：fatal error: concurrent map writes

如果想實現(xiàn)map線程安全，有兩種方式：

方式一：使用讀寫鎖 map + sync.RWMutex

方式二：使用golang提供的 sync.Map

sync.map是用讀寫分離實現(xiàn)的，其思想是空間換時間。和map+RWLock的實現(xiàn)方式相比，它做了一些優(yōu)化：可以無鎖訪問read map，而且會優(yōu)先操作read map，倘若只操作read map就可以滿足要求(增刪改查遍歷)，那就不用去操作write map(它的讀寫都要加鎖)，所以在某些特定場景中它發(fā)生鎖競爭的頻率會遠(yuǎn)遠(yuǎn)小于map+RWLock的實現(xiàn)方式。

golang中map是一個kv對集合。底層使用hash table，用鏈表來解決沖突 ，出現(xiàn)沖突時，不是每一個key都申請一個結(jié)構(gòu)通過鏈表串起來，而是以bmap為最小粒度掛載，一個bmap可以放8個kv。在哈希函數(shù)的選擇上，會在程序啟動時，檢測 cpu 是否支持 aes，如果支持，則使用 aes hash，否則使用 memhash。

map有3鐘初始化方式，一般通過make方式創(chuàng)建

map的創(chuàng)建通過生成匯編碼可以知道，make創(chuàng)建map時調(diào)用的底層函數(shù)是 runtime.makemap 。如果你的map初始容量小于等于8會發(fā)現(xiàn)走的是 runtime.fastrand 是因為容量小于8時不需要生成多個桶，一個桶的容量就可以滿足

makemap函數(shù)會通過 fastrand 創(chuàng)建一個隨機(jī)的哈希種子，然后根據(jù)傳入的 hint 計算出需要的最小需要的桶的數(shù)量，最后再使用 makeBucketArray 創(chuàng)建用于保存桶的數(shù)組，這個方法其實就是根據(jù)傳入的 B 計算出的需要創(chuàng)建的桶數(shù)量在內(nèi)存中分配一片連續(xù)的空間用于存儲數(shù)據(jù)，在創(chuàng)建桶的過程中還會額外創(chuàng)建一些用于保存溢出數(shù)據(jù)的桶，數(shù)量是 2^(B-4) 個。初始化完成返回hmap指針。

找到一個 B，使得 map 的裝載因子在正常范圍內(nèi)

Go 語言中讀取 map 有兩種語法：帶 comma 和 不帶 comma。當(dāng)要查詢的 key 不在 map 里，帶 comma 的用法會返回一個 bool 型變量提示 key 是否在 map 中；而不帶 comma 的語句則會返回一個 value 類型的零值。如果 value 是 int 型就會返回 0，如果 value 是 string 類型，就會返回空字符串。

map的查找通過生成匯編碼可以知道，根據(jù) key 的不同類型，編譯器會將查找函數(shù)用更具體的函數(shù)替換，以優(yōu)化效率：

函數(shù)首先會檢查 map 的標(biāo)志位 flags。如果 flags 的寫標(biāo)志位此時被置 1 了，說明有其他協(xié)程在執(zhí)行“寫”操作，進(jìn)而導(dǎo)致程序 panic。這也說明了 map 對協(xié)程是不安全的。

key經(jīng)過哈希函數(shù)計算后，得到的哈希值如下（主流64位機(jī)下共 64 個 bit 位）：

m: 桶的個數(shù)

從buckets 通過 hash m 得到對應(yīng)的bucket，如果bucket正在擴(kuò)容，并且沒有擴(kuò)容完成，則從oldbuckets得到對應(yīng)的bucket

計算hash所在桶編號：

用上一步哈希值最后的 5 個 bit 位，也就是 01010 ，值為 10，也就是 10 號桶（范圍是0~31號桶）

計算hash所在的槽位:

用上一步哈希值哈希值的高8個bit 位，也就是 10010111 ，轉(zhuǎn)化為十進(jìn)制，也就是151，在 10 號 bucket 中尋找** tophash 值（HOB hash）為 151* 的 槽位**，即為key所在位置，找到了 2 號槽位，這樣整個查找過程就結(jié)束了。

如果在 bucket 中沒找到，并且 overflow 不為空，還要繼續(xù)去 overflow bucket 中尋找，直到找到或是所有的 key 槽位都找遍了，包括所有的 overflow bucket。

通過上面找到了對應(yīng)的槽位，這里我們再詳細(xì)分析下key/value值是如何獲取的：

bucket 里 key 的起始地址就是 unsafe.Pointer(b)+dataOffset。第 i 個 key 的地址就要在此基礎(chǔ)上跨過 i 個 key 的大?。欢覀冇种?，value 的地址是在所有 key 之后，因此第 i 個 value 的地址還需要加上所有 key 的偏移。

通過匯編語言可以看到，向 map 中插入或者修改 key，最終調(diào)用的是 mapassign 函數(shù)。

實際上插入或修改 key 的語法是一樣的，只不過前者操作的 key 在 map 中不存在，而后者操作的 key 存在 map 中。

mapassign 有一個系列的函數(shù)，根據(jù) key 類型的不同，編譯器會將其優(yōu)化為相應(yīng)的“快速函數(shù)”。

我們只用研究最一般的賦值函數(shù) mapassign 。

map的賦值會附帶著map的擴(kuò)容和遷移，map的擴(kuò)容只是將底層數(shù)組擴(kuò)大了一倍，并沒有進(jìn)行數(shù)據(jù)的轉(zhuǎn)移，數(shù)據(jù)的轉(zhuǎn)移是在擴(kuò)容后逐步進(jìn)行的，在遷移的過程中每進(jìn)行一次賦值（access或者delete）會至少做一次遷移工作。

1.判斷map是否為nil

每一次進(jìn)行賦值/刪除操作時，只要oldbuckets != nil 則認(rèn)為正在擴(kuò)容，會做一次遷移工作，下面會詳細(xì)說下遷移過程

根據(jù)上面查找過程，查找key所在位置，如果找到則更新，沒找到則找空位插入即可

經(jīng)過前面迭代尋找動作，若沒有找到可插入的位置，意味著需要擴(kuò)容進(jìn)行插入，下面會詳細(xì)說下擴(kuò)容過程

通過匯編語言可以看到，向 map 中刪除 key，最終調(diào)用的是 mapdelete 函數(shù)

刪除的邏輯相對比較簡單，大多函數(shù)在賦值操作中已經(jīng)用到過，核心還是找到 key 的具體位置。尋找過程都是類似的，在 bucket 中挨個 cell 尋找。找到對應(yīng)位置后，對 key 或者 value 進(jìn)行“清零”操作，將 count 值減 1，將對應(yīng)位置的 tophash 值置成 Empty

再來說觸發(fā) map 擴(kuò)容的時機(jī)：在向 map 插入新 key 的時候，會進(jìn)行條件檢測，符合下面這 2 個條件，就會觸發(fā)擴(kuò)容：

1、裝載因子超過閾值

源碼里定義的閾值是 6.5 (loadFactorNum/loadFactorDen)，是經(jīng)過測試后取出的一個比較合理的因子

我們知道，每個 bucket 有 8 個空位，在沒有溢出，且所有的桶都裝滿了的情況下，裝載因子算出來的結(jié)果是 8。因此當(dāng)裝載因子超過 6.5 時，表明很多 bucket 都快要裝滿了，查找效率和插入效率都變低了。在這個時候進(jìn)行擴(kuò)容是有必要的。

對于條件 1，元素太多，而 bucket 數(shù)量太少，很簡單：將 B 加 1，bucket 最大數(shù)量( 2^B )直接變成原來 bucket 數(shù)量的 2 倍。于是，就有新老 bucket 了。注意，這時候元素都在老 bucket 里，還沒遷移到新的 bucket 來。新 bucket 只是最大數(shù)量變?yōu)樵瓉碜畲髷?shù)量的 2 倍( 2^B * 2 ) 。

2、overflow 的 bucket 數(shù)量過多

在裝載因子比較小的情況下，這時候 map 的查找和插入效率也很低，而第 1 點識別不出來這種情況。表面現(xiàn)象就是計算裝載因子的分子比較小，即 map 里元素總數(shù)少，但是 bucket 數(shù)量多（真實分配的 bucket 數(shù)量多，包括大量的 overflow bucket）

不難想像造成這種情況的原因：不停地插入、刪除元素。先插入很多元素，導(dǎo)致創(chuàng)建了很多 bucket，但是裝載因子達(dá)不到第 1 點的臨界值，未觸發(fā)擴(kuò)容來緩解這種情況。之后，刪除元素降低元素總數(shù)量，再插入很多元素，導(dǎo)致創(chuàng)建很多的 overflow bucket，但就是不會觸發(fā)第 1 點的規(guī)定，你能拿我怎么辦？overflow bucket 數(shù)量太多，導(dǎo)致 key 會很分散，查找插入效率低得嚇人，因此出臺第 2 點規(guī)定。這就像是一座空城，房子很多，但是住戶很少，都分散了，找起人來很困難

對于條件 2，其實元素沒那么多，但是 overflow bucket 數(shù)特別多，說明很多 bucket 都沒裝滿。解決辦法就是開辟一個新 bucket 空間，將老 bucket 中的元素移動到新 bucket，使得同一個 bucket 中的 key 排列地更緊密。這樣，原來，在 overflow bucket 中的 key 可以移動到 bucket 中來。結(jié)果是節(jié)省空間，提高 bucket 利用率，map 的查找和插入效率自然就會提升。

由于 map 擴(kuò)容需要將原有的 key/value 重新搬遷到新的內(nèi)存地址，如果有大量的 key/value 需要搬遷，會非常影響性能。因此 Go map 的擴(kuò)容采取了一種稱為“漸進(jìn)式”的方式，原有的 key 并不會一次性搬遷完畢，每次最多只會搬遷 2 個 bucket。

上面說的 hashGrow() 函數(shù)實際上并沒有真正地“搬遷”，它只是分配好了新的 buckets，并將老的 buckets 掛到了 oldbuckets 字段上。真正搬遷 buckets 的動作在 growWork() 函數(shù)中，而調(diào)用 growWork() 函數(shù)的動作是在 mapassign 和 mapdelete 函數(shù)中。也就是插入或修改、刪除 key 的時候，都會嘗試進(jìn)行搬遷 buckets 的工作。先檢查 oldbuckets 是否搬遷完畢，具體來說就是檢查 oldbuckets 是否為 nil。

如果未遷移完畢，賦值/刪除的時候，擴(kuò)容完畢后（預(yù)分配內(nèi)存），不會馬上就進(jìn)行遷移。而是采取 增量擴(kuò)容 的方式，當(dāng)有訪問到具體 bukcet 時，才會逐漸的進(jìn)行遷移（將 oldbucket 遷移到 bucket）

nevacuate 標(biāo)識的是當(dāng)前的進(jìn)度，如果都搬遷完，應(yīng)該和2^B的長度是一樣的

在evacuate 方法實現(xiàn)是把這個位置對應(yīng)的bucket，以及其沖突鏈上的數(shù)據(jù)都轉(zhuǎn)移到新的buckets上。

轉(zhuǎn)移的判斷直接通過tophash 就可以，判斷tophash中第一個hash值即可

遍歷的過程，就是按順序遍歷 bucket，同時按順序遍歷 bucket 中的 key。

map遍歷是無序的，如果想實現(xiàn)有序遍歷，可以先對key進(jìn)行排序

為什么遍歷 map 是無序的？

如果發(fā)生過遷移，key 的位置發(fā)生了重大的變化，有些 key 飛上高枝，有些 key 則原地不動。這樣，遍歷 map 的結(jié)果就不可能按原來的順序了。

如果就一個寫死的 map，不會向 map 進(jìn)行插入刪除的操作，按理說每次遍歷這樣的 map 都會返回一個固定順序的 key/value 序列吧。但是 Go 杜絕了這種做法，因為這樣會給新手程序員帶來誤解，以為這是一定會發(fā)生的事情，在某些情況下，可能會釀成大錯。

Go 做得更絕，當(dāng)我們在遍歷 map 時，并不是固定地從 0 號 bucket 開始遍歷，每次都是從一個**隨機(jī)值序號的 bucket 開始遍歷，并且是從這個 bucket 的一個 隨機(jī)序號的 cell **開始遍歷。這樣，即使你是一個寫死的 map，僅僅只是遍歷它，也不太可能會返回一個固定序列的 key/value 對了。

【golang詳解】go語言GMP(GPM)原理和調(diào)度

Goroutine調(diào)度是一個很復(fù)雜的機(jī)制，下面嘗試用簡單的語言描述一下Goroutine調(diào)度機(jī)制，想要對其有更深入的了解可以去研讀一下源碼。

首先介紹一下GMP什么意思：

G ----------- goroutine: 即Go協(xié)程，每個go關(guān)鍵字都會創(chuàng)建一個協(xié)程。

M ---------- thread內(nèi)核級線程，所有的G都要放在M上才能運行。

P ----------- processor處理器，調(diào)度G到M上，其維護(hù)了一個隊列，存儲了所有需要它來調(diào)度的G。

Goroutine 調(diào)度器P和 OS 調(diào)度器是通過 M 結(jié)合起來的，每個 M 都代表了 1 個內(nèi)核線程，OS 調(diào)度器負(fù)責(zé)把內(nèi)核線程分配到 CPU 的核上執(zhí)行

模型圖：

避免頻繁的創(chuàng)建、銷毀線程，而是對線程的復(fù)用。

1）work stealing機(jī)制

當(dāng)本線程無可運行的G時，嘗試從其他線程綁定的P偷取G，而不是銷毀線程。

2）hand off機(jī)制

當(dāng)本線程M0因為G0進(jìn)行系統(tǒng)調(diào)用阻塞時，線程釋放綁定的P，把P轉(zhuǎn)移給其他空閑的線程執(zhí)行。進(jìn)而某個空閑的M1獲取P，繼續(xù)執(zhí)行P隊列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進(jìn)被阻塞，M1接替M0的工作，只要P不空閑，就可以保證充分利用CPU。M1的來源有可能是M的緩存池，也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后，根據(jù)M0是否能獲取到P，將會將G0做不同的處理：

如果有空閑的P，則獲取一個P，繼續(xù)執(zhí)行G0。

如果沒有空閑的P，則將G0放入全局隊列，等待被其他的P調(diào)度。然后M0將進(jìn)入緩存池睡眠。

如下圖

GOMAXPROCS設(shè)置P的數(shù)量，最多有GOMAXPROCS個線程分布在多個CPU上同時運行

在Go中一個goroutine最多占用CPU 10ms，防止其他goroutine被餓死。

具體可以去看另一篇文章

【Golang詳解】go語言調(diào)度機(jī)制 搶占式調(diào)度

當(dāng)創(chuàng)建一個新的G之后優(yōu)先加入本地隊列，如果本地隊列滿了，會將本地隊列的G移動到全局隊列里面，當(dāng)M執(zhí)行work stealing從其他P偷不到G時，它可以從全局G隊列獲取G。

協(xié)程經(jīng)歷過程

我們創(chuàng)建一個協(xié)程 go func()經(jīng)歷過程如下圖：

說明：

這里有兩個存儲G的隊列，一個是局部調(diào)度器P的本地隊列、一個是全局G隊列。新創(chuàng)建的G會先保存在P的本地隊列中，如果P的本地隊列已經(jīng)滿了就會保存在全局的隊列中；處理器本地隊列是一個使用數(shù)組構(gòu)成的環(huán)形鏈表，它最多可以存儲 256 個待執(zhí)行任務(wù)。

G只能運行在M中，一個M必須持有一個P，M與P是1：1的關(guān)系。M會從P的本地隊列彈出一個可執(zhí)行狀態(tài)的G來執(zhí)行，如果P的本地隊列為空，就會想其他的MP組合偷取一個可執(zhí)行的G來執(zhí)行；

一個M調(diào)度G執(zhí)行的過程是一個循環(huán)機(jī)制；會一直從本地隊列或全局隊列中獲取G

上面說到P的個數(shù)默認(rèn)等于CPU核數(shù)，每個M必須持有一個P才可以執(zhí)行G，一般情況下M的個數(shù)會略大于P的個數(shù)，這多出來的M將會在G產(chǎn)生系統(tǒng)調(diào)用時發(fā)揮作用。類似線程池，Go也提供一個M的池子，需要時從池子中獲取，用完放回池子，不夠用時就再創(chuàng)建一個。

work-stealing調(diào)度算法：當(dāng)M執(zhí)行完了當(dāng)前P的本地隊列隊列里的所有G后，P也不會就這么在那躺尸啥都不干，它會先嘗試從全局隊列隊列尋找G來執(zhí)行，如果全局隊列為空，它會隨機(jī)挑選另外一個P，從它的隊列里中拿走一半的G到自己的隊列中執(zhí)行。

如果一切正常，調(diào)度器會以上述的那種方式順暢地運行，但這個世界沒這么美好，總有意外發(fā)生，以下分析goroutine在兩種例外情況下的行為。

Go runtime會在下面的goroutine被阻塞的情況下運行另外一個goroutine：

用戶態(tài)阻塞/喚醒

當(dāng)goroutine因為channel操作或者network I/O而阻塞時（實際上golang已經(jīng)用netpoller實現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會導(dǎo)致M被阻塞，僅阻塞G，這里僅僅是舉個栗子），對應(yīng)的G會被放置到某個wait隊列(如channel的waitq)，該G的狀態(tài)由_Gruning變?yōu)開Gwaitting，而M會跳過該G嘗試獲取并執(zhí)行下一個G，如果此時沒有可運行的G供M運行，那么M將解綁P，并進(jìn)入sleep狀態(tài)；當(dāng)阻塞的G被另一端的G2喚醒時（比如channel的可讀/寫通知），G被標(biāo)記為，嘗試加入G2所在P的runnext（runnext是線程下一個需要執(zhí)行的 Goroutine。）， 然后再是P的本地隊列和全局隊列。

系統(tǒng)調(diào)用阻塞

當(dāng)M執(zhí)行某一個G時候如果發(fā)生了阻塞操作，M會阻塞，如果當(dāng)前有一些G在執(zhí)行，調(diào)度器會把這個線程M從P中摘除，然后再創(chuàng)建一個新的操作系統(tǒng)的線程(如果有空閑的線程可用就復(fù)用空閑線程)來服務(wù)于這個P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時候，這個G會嘗試獲取一個空閑的P執(zhí)行，并放入到這個P的本地隊列。如果獲取不到P，那么這個線程M變成休眠狀態(tài)， 加入到空閑線程中，然后這個G會被放入全局隊列中。

隊列輪轉(zhuǎn)

可見每個P維護(hù)著一個包含G的隊列，不考慮G進(jìn)入系統(tǒng)調(diào)用或IO操作的情況下，P周期性的將G調(diào)度到M中執(zhí)行，執(zhí)行一小段時間，將上下文保存下來，然后將G放到隊列尾部，然后從隊列中重新取出一個G進(jìn)行調(diào)度。

除了每個P維護(hù)的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行，全局隊列中G的來源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。

除了每個P維護(hù)的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行，全局隊列中G的來源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。

M0

M0是啟動程序后的編號為0的主線程，這個M對應(yīng)的實例會在全局變量rutime.m0中，不需要在heap上分配，M0負(fù)責(zé)執(zhí)行初始化操作和啟動第一個G，在之后M0就和其他的M一樣了

G0

G0是每次啟動一個M都會第一個創(chuàng)建的goroutine，G0僅用于負(fù)責(zé)調(diào)度G，G0不指向任何可執(zhí)行的函數(shù)，每個M都會有一個自己的G0，在調(diào)度或系統(tǒng)調(diào)用時會使用G0的?？臻g，全局變量的G0是M0的G0

一個G由于調(diào)度被中斷，此后如何恢復(fù)？

中斷的時候?qū)⒓拇嫫骼锏臈Ｐ畔?，保存到自己的G對象里面。當(dāng)再次輪到自己執(zhí)行時，將自己保存的棧信息復(fù)制到寄存器里面，這樣就接著上次之后運行了。

我這里只是根據(jù)自己的理解進(jìn)行了簡單的介紹，想要詳細(xì)了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計者的文檔或直接看源碼

參考： ()

()

當(dāng)前標(biāo)題：go語言線程安全鏈表 go進(jìn)程線程協(xié)程
鏈接分享：http://www.rwnh.cn/article30/hhgepo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、企業(yè)建站、標(biāo)簽優(yōu)化、網(wǎng)站設(shè)計、、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)