時間2015年的某個周六凌晨5點(diǎn)，公司官方的QQ群有用戶反饋官網(wǎng)打不開了，但有的用戶反饋可以打開，客服爬起來自己用電腦試了一下沒有問題，就給客戶反饋說，可能是自己網(wǎng)絡(luò)的問題，請過會在試試。早點(diǎn)8點(diǎn)，越來越多的用戶反饋官網(wǎng)無法打開，并且有部分用戶開發(fā)反饋app也打不開了，客服打電話叫起了還在夢鄉(xiāng)中的我。

創(chuàng)新互聯(lián)公司成都企業(yè)網(wǎng)站建設(shè)服務(wù)，提供成都網(wǎng)站建設(shè)、成都做網(wǎng)站網(wǎng)站開發(fā),網(wǎng)站定制,建網(wǎng)站,網(wǎng)站搭建,網(wǎng)站設(shè)計(jì),響應(yīng)式網(wǎng)站建設(shè),網(wǎng)頁設(shè)計(jì)師打造企業(yè)風(fēng)格網(wǎng)站,提供周到的售前咨詢和貼心的售后服務(wù)。歡迎咨詢做網(wǎng)站需要多少錢:13518219792

分析定位

被客服叫起來之后，一臉懵逼，不知道什么情況，給客服回復(fù)，知道了，立刻排查，待會有消息及時溝通。用涼水洗了一把臉清醒了一下，立刻根據(jù)經(jīng)驗(yàn)回憶這兩天生產(chǎn)投產(chǎn)的情況：上線了XX模塊，不影響、修復(fù)了XXbug，應(yīng)該也不影響、剛給服務(wù)器配置了https，看起來好像有點(diǎn)關(guān)系，但是app暫時沒有投產(chǎn)https，怎么也出現(xiàn)問題，排除之。打開電腦核查了最近的投產(chǎn)記錄應(yīng)該都不至于發(fā)生這么嚴(yán)重的問題，隨懷疑是不是網(wǎng)絡(luò)方面有問題，立刻打電話叫起來運(yùn)維經(jīng)理以及相關(guān)人等一起排查。

一邊讓網(wǎng)絡(luò)和運(yùn)維排除問題，一邊再次核查了web服務(wù)器、數(shù)據(jù)庫服務(wù)器、業(yè)務(wù)日志、數(shù)據(jù)庫日志，以及其它的一些監(jiān)控?cái)?shù)據(jù)，各項(xiàng)皆正常。試著在本機(jī)ping了一下域名確實(shí)不通，更加懷疑是網(wǎng)絡(luò)問題，嘗試這直接使用外網(wǎng)訪問，可以打開沒有問題，可以基本確認(rèn)服務(wù)沒有問題，但運(yùn)維部反饋網(wǎng)絡(luò)設(shè)備什么都正常，肯定是你們投產(chǎn)代碼出問題了，各方硬著頭皮繼續(xù)在排查。

9點(diǎn)，群里開始有大規(guī)模的用戶反饋官網(wǎng)和app都打不開了，更有部分用戶煽動，XXX公司跑出了（15年很多p2p公司跑路，導(dǎo)致用戶都成了驚弓之鳥，稍微有問題便害怕公司跑路，個個都鍛煉成了監(jiān)控高手，天天看，實(shí)時刷，凌晨起來尿尿也都順便看一下app上的今日收益），客服400熱線基本被打爆了。一邊繼續(xù)排查問題，一邊上報(bào)此問題給總監(jiān)、公司各高管，給客服建議，給用戶解釋，IDC機(jī)房網(wǎng)絡(luò)抖動，技術(shù)正在緊急解決，資金和數(shù)據(jù)都沒有任何影響，稍安勿躁。

10點(diǎn)，開發(fā)和運(yùn)維反復(fù)的檢查后，開始懷疑DNS解析有問題，但具體是什么問題還不清楚，CTO決定：1、大家都打車往公司走，來公司集體解決 2、在各QQ群、微信群給用戶群發(fā)解釋xxx問題，安撫客戶。在車上的時候重新梳理了一下用戶的整個訪問流程，如下圖：

到公司后，根據(jù)這個思路大家在一起驗(yàn)證了一下，通過外網(wǎng)IP和內(nèi)網(wǎng)IP訪問公司所有服務(wù)都正常，但是通過域名訪問不行，另外監(jiān)控服務(wù)器、防火墻、網(wǎng)絡(luò)設(shè)備日志都正常，因此斷定是DNS解析出現(xiàn)問題。

攻堅(jiān)問題

既然確實(shí)是DNS解析問題，那么問題又來了？為什么DNS解析會出現(xiàn)問題？如何去解決這個問題？一邊給萬網(wǎng)提工單，我們也自己測試一下電信、移動、聯(lián)通在不同的網(wǎng)絡(luò)運(yùn)營商下面的訪問情況，發(fā)現(xiàn)只有在聯(lián)通網(wǎng)絡(luò)的環(huán)境下DNS解析不了。根據(jù)客服得到的反饋也驗(yàn)證了這個情況，電信和移動用戶反饋很少，聯(lián)通用戶反饋?zhàn)疃?。于是我們又開始給聯(lián)通打電話，剛開始聯(lián)通不受理我們的這個請求，于是又開始以用戶的身份打電話給聯(lián)通公司讓立刻解決不能上網(wǎng)的問題。

于是就開始了萬網(wǎng)和聯(lián)通的扯皮大戰(zhàn)，萬網(wǎng)說從他們那邊查看DNS解析都正常，一起指標(biāo)都正常，我們又給聯(lián)通打電話聯(lián)通說我們已經(jīng)知道了，待會由專業(yè)的人給我們回復(fù)，過了一會聯(lián)通的網(wǎng)絡(luò)工程師回復(fù)說，像這種情況一般都是域名解析的問題。早上10:30到公司開始短短的6各小時內(nèi)，我們幾個輪流給聯(lián)通公司合計(jì)供打了近50、60通電話，給萬網(wǎng)提了N個工單，接了N個電話。

期間領(lǐng)導(dǎo)也開始動用各種關(guān)系，聯(lián)通內(nèi)部的朋友、網(wǎng)絡(luò)運(yùn)維界的大拿幫忙來定位解決，我們也嘗試了很多的辦法，比如，使用ipconfig/flushdns命令清除本機(jī)的DNS緩存、在萬網(wǎng)的官網(wǎng)把DNS解析重新更新一邊、刪除在重新添加等等，也不是完全沒有收獲。我們一直想找一個可以測試各個地方、運(yùn)營商網(wǎng)絡(luò)的辦法，終于在各方推薦和搜索的情況下找了17ce 和 360奇云測兩個網(wǎng)站，感覺非常實(shí)用，在以后的網(wǎng)絡(luò)定位中，成了我必備使用的工具，可以非常方便的監(jiān)控各個運(yùn)營商、各個地區(qū)網(wǎng)站的訪問是否通不通、訪問的速度快不快等問題，截圖如下：

我們也發(fā)現(xiàn)，公司的其它域名也都訪問正常，就是官網(wǎng)的這個域名和相關(guān)的子域名不通。期間很多人都問了一個問題就是你們的域名有沒有忘了繳費(fèi)，剛開始大家也都問了運(yùn)維這邊說是沒有這個問題，直到中午12:30的時候在我們再三的追問下才說8點(diǎn)多的時候登錄上萬網(wǎng)的時候顯示這個域名是欠費(fèi)狀態(tài)，但是他已經(jīng)立刻把費(fèi)用補(bǔ)了上去了。哎呀差點(diǎn)把我們氣死，問了不是域名到期有提示的嗎？才知道因?yàn)樯弦粋€運(yùn)維經(jīng)理走后，他們沒有及時的更新萬網(wǎng)的電話和郵箱導(dǎo)致提示郵件和短信也沒有收到。

通過和萬網(wǎng)、聯(lián)通公司、領(lǐng)導(dǎo)的相關(guān)朋友溝通以及我們的測試觀察，初步明白了這個事情的原因：域名忘記繳費(fèi)導(dǎo)致萬網(wǎng)的DNS解析被停止，用戶本機(jī)或者DNS服務(wù)器有緩存，所以部分用戶可以訪問部分用戶不能訪問；繳費(fèi)過后萬網(wǎng)的DNS已經(jīng)進(jìn)行了更新和推送，但是DNS解析有很多的層級需要一級一級的往下面發(fā)送更新，有的層級并沒有更新到，導(dǎo)致部分沒有更新到的DNS服務(wù)商下面的用戶不能訪問官網(wǎng)。

和萬網(wǎng)進(jìn)行了溝通，問最延遲的情況所有的DNS更新到最新的時間，回答是48小時內(nèi)肯定都會好的，但是我們等不起呀，隨著時間的推移越來越多的用戶發(fā)現(xiàn)問題，QQ群、微信群已經(jīng)沸騰，董事長也開始關(guān)注次問題，有的客戶直接在群里面說，你們的技術(shù)太不給力了(像這種還是委婉的，有的直接打電話罵人)…

臨時解決方案

不斷的通過17ce測試發(fā)現(xiàn)，大部分地區(qū)的網(wǎng)絡(luò)都已經(jīng)恢復(fù)，就剩北京聯(lián)通和部分地區(qū)聯(lián)通網(wǎng)絡(luò)環(huán)境下不通，也說明了這幾個地區(qū)下的DNS解析記錄沒有被更新。那么既然我們在上面已經(jīng)定位出了問題，又了解是什么原因，就想著試著換個DNS解析服務(wù)器會不會好一點(diǎn)呢，于是我們把本地的DNS地址換成8.8.8.8（谷歌的DNS服務(wù)解析）發(fā)現(xiàn)好了！于是趕緊先寫解決手冊發(fā)給著急的客戶來使用。

官網(wǎng)的用戶可以通過更改DNS來解決訪問的問題，APP怎么辦呢？沒有辦法我們也不能等，直接找開發(fā)人員把客戶端調(diào)用的地址由域名暫時先改為外網(wǎng)的IP地址打一個版本供用戶臨時使用。安卓還比較好辦，直接讓用戶下載安裝使用還好，但是IOS那時候的審核最少都需要一周黃花菜都涼了。其實(shí)iPhone手機(jī)可以單獨(dú)設(shè)置DNS的，我們進(jìn)行了設(shè)置和測試后發(fā)現(xiàn)也可以實(shí)現(xiàn)，于是馬上更新到手冊中發(fā)送給客服發(fā)送到群里面給用戶使用。

點(diǎn)擊下載當(dāng)時寫的DNS更新手冊

有人說直接讓用戶使用外網(wǎng)就行了嗎，使用外網(wǎng)首頁打開到是沒有問題，但是各系統(tǒng)之間調(diào)用，相關(guān)配置文件里面寫的也都是域名的地址，如果硬改的話可能會引發(fā)另外的問題。第一天搞完就10點(diǎn)多了，中間就4點(diǎn)吃了一頓飯，打了N個電話大家都非常累，于是當(dāng)天就先這樣了，第二天大家一早到公司繼續(xù)跟進(jìn)。

第二天到公司經(jīng)過17ce測試發(fā)現(xiàn)所有的節(jié)點(diǎn)都已經(jīng)通了就剩北京聯(lián)通的兩個接點(diǎn)沒響應(yīng)，但是北京是我們的大本營，絕大部分的用戶都是北京的，繼續(xù)和萬網(wǎng)、聯(lián)通溝通看怎么能徹底的解決這個問題，另一方面做好最壞的打算，如果一直不通怎么辦。在生產(chǎn)環(huán)境中梳理所有使用域名的配置文件，做好隨時可以直接更新為外網(wǎng)地址而不能影響服務(wù)，app完整的重新做一個版本，做好隨時可以投產(chǎn)讓用戶強(qiáng)制升級到外網(wǎng)直連的版本。

到第二天晚上10點(diǎn)的時候，北京聯(lián)通的這兩個節(jié)點(diǎn)還是不通，和領(lǐng)導(dǎo)進(jìn)行了商議如果到周一早上8點(diǎn)來的時候這兩個網(wǎng)絡(luò)還是不能通的話，就上線改造好的系統(tǒng)和APP強(qiáng)制升級（因?yàn)楫?dāng)時周末還沒有標(biāo)的，周內(nèi)才有發(fā)標(biāo)計(jì)劃）。第三天早上起來的第一件事情就是拿起手機(jī)，查看自己的聯(lián)通網(wǎng)絡(luò)是不是可以登錄上官網(wǎng)，結(jié)果通了！皆大歡喜。

俗話說真理是愈辯愈明，經(jīng)過了這次事故，也徹底的讓我了解了DNS解析的整個過程。

DNS 解析流程

DNS( Domain Name System)是“域名系統(tǒng)”的英文縮寫，是一種組織成域?qū)哟谓Y(jié)構(gòu)的計(jì)算機(jī)和網(wǎng)絡(luò)服務(wù)命名系統(tǒng)，它用于TCP/IP網(wǎng)絡(luò)，它所提供的服務(wù)是用來將主機(jī)名和域名轉(zhuǎn)換為IP地址的工作。俗話說，DNS就是將網(wǎng)址轉(zhuǎn)化為對外的IP地址。

dns從用戶訪問到響應(yīng)的整個流程

第一步：瀏覽器將會檢查緩存中有沒有這個域名對應(yīng)的解析過的IP地址，如果有該解析過程將會結(jié)束。瀏覽器緩存域名也是有限制的，包括緩存的時間、大小，可以通過TTL屬性來設(shè)置。

第二步：如果用戶的瀏覽器中緩存中沒有，操作系統(tǒng)會先檢查自己本地的hosts文件是否有這個網(wǎng)址映射關(guān)系，如果有，就先調(diào)用這個IP地址映射，完成域名解析。

第三步：如果hosts里沒有這個域名的映射，則查找本地DNS解析器緩存，是否有這個網(wǎng)址映射關(guān)系，如果有，直接返回，完成域名解析。

第四步：如果hosts與本地DNS解析器緩存都沒有相應(yīng)的網(wǎng)址映射關(guān)系，首先會找TCP/ip參數(shù)中設(shè)置的首選DNS服務(wù)器，在此我們叫它本地DNS服務(wù)器，此服務(wù)器收到查詢時，如果要查詢的域名，包含在本地配置區(qū)域資源中，則返回解析結(jié)果給客戶機(jī)，完成域名解析，此解析具有權(quán)威性。

第五步：如果要查詢的域名，不由本地DNS服務(wù)器區(qū)域解析，但該服務(wù)器已緩存了此網(wǎng)址映射關(guān)系，則調(diào)用這個IP地址映射，完成域名解析，此解析不具有權(quán)威性。

第六步：如果本地DNS服務(wù)器本地區(qū)域文件與緩存解析都失效，則根據(jù)本地DNS服務(wù)器的設(shè)置（是否設(shè)置轉(zhuǎn)發(fā)器）進(jìn)行查詢，如果未用轉(zhuǎn)發(fā)模式，本地DNS就把請求發(fā)至13臺根DNS，根DNS服務(wù)器收到請求后會判斷這個域名(.com)是誰來授權(quán)管理，并會返回一個負(fù)責(zé)該頂級域名服務(wù)器的一個IP。本地DNS服務(wù)器收到IP信息后，將會聯(lián)系負(fù)責(zé).com域的這臺服務(wù)器。這臺負(fù)責(zé).com域的服務(wù)器收到請求后，如果自己無法解析，它就會找一個管理.com域的下一級DNS服務(wù)器地址給本地DNS服務(wù)器。當(dāng)本地DNS服務(wù)器收到這個地址后，就會找域名域服務(wù)器，重復(fù)上面的動作，進(jìn)行查詢，直至找到域名對應(yīng)的主機(jī)。

第七步：如果用的是轉(zhuǎn)發(fā)模式，此DNS服務(wù)器就會把請求轉(zhuǎn)發(fā)至上一級DNS服務(wù)器，由上一級服務(wù)器進(jìn)行解析，上一級服務(wù)器如果不能解析，或找根DNS或把轉(zhuǎn)請求轉(zhuǎn)至上上級，以此循環(huán)。不管是本地DNS服務(wù)器用是是轉(zhuǎn)發(fā)，還是根提示，最后都是把結(jié)果返回給本地DNS服務(wù)器，由此DNS服務(wù)器再返回給客戶機(jī)。

這個事情發(fā)生后給了我們很大的教訓(xùn)：
第一、流程管理有漏洞，離職交接不到位；
第二、危機(jī)處理不成熟，影響公司聲譽(yù)；
第三、監(jiān)控機(jī)制不完善，像外網(wǎng)不通的這種問題，應(yīng)該提前設(shè)置監(jiān)控措施。

有時候非常的嚴(yán)重的問題，就是你常常忽略的小不點(diǎn)

---

作者：純潔的微笑
出處：http://www.ityouknow.com/ 
版權(quán)歸作者所有，轉(zhuǎn)載請注明出處

文章名稱：一次dns緩存引發(fā)的慘案
URL網(wǎng)址：http://www.rwnh.cn/article40/pgshho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、手機(jī)網(wǎng)站建設(shè)、商城網(wǎng)站、搜索引擎優(yōu)化、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)