嘉賓介紹

老王：“互聯(lián)網(wǎng)運(yùn)維雜談”公眾號(hào)作者，兩年電信boss系統(tǒng)研發(fā)、五年騰訊運(yùn)維經(jīng)歷，而后在YY和UC帶過(guò)業(yè)務(wù)運(yùn)維和運(yùn)維研發(fā)。

主題介紹

大家好，這些年來(lái)，我經(jīng)歷了不同形態(tài)的業(yè)務(wù)和不同規(guī)模的運(yùn)維，今天我主要和大家分享我這些年來(lái)關(guān)于運(yùn)維自動(dòng)化的一些認(rèn)識(shí)和實(shí)踐，包括如下八點(diǎn)：

1. 自動(dòng)化需要整體規(guī)劃

2. 自動(dòng)化的基礎(chǔ)是標(biāo)準(zhǔn)化

3. 首先從持續(xù)交付開(kāi)始

4. DevOps的四觀

5. 善于借助研測(cè)的力量

6. 不一定強(qiáng)依賴CMDB

7. 以NO OPS為最終目標(biāo)

8. Docker等不是干掉運(yùn)維

以下為詳細(xì)內(nèi)容，敬請(qǐng)欣賞。

1.自動(dòng)化需要整體規(guī)劃

沒(méi)有整體的規(guī)劃始終覺(jué)得運(yùn)維是在建一個(gè)個(gè)的工具，沒(méi)法形成遞進(jìn)式的實(shí)現(xiàn)策略。

邊界的識(shí)別是通過(guò)分層體系來(lái)構(gòu)建DevOps自動(dòng)化工具棧，而不是用一個(gè)工具解決所有問(wèn)題，和智錦的觀點(diǎn)類似：

千萬(wàn)不要以為puppet/salt/ansible所管理的配置工具能夠解決所有運(yùn)維自動(dòng)化的問(wèn)題（不過(guò)小企業(yè)運(yùn)維另論哈）。

運(yùn)維場(chǎng)景是尋找自動(dòng)化平臺(tái)實(shí)現(xiàn)的驅(qū)動(dòng)力，可以衡量成本和收益比，不要為了自動(dòng)化而自動(dòng)化。

我把其中的每一塊都抽象成服務(wù)，比如說(shuō)基礎(chǔ)設(shè)施及服務(wù)（IAAS部分）、配置及服務(wù)、流程及服務(wù)（ITIL部分）、架構(gòu)及服務(wù)（PAAS部分）、數(shù)據(jù)及服務(wù)、監(jiān)控及服務(wù)等等。

持續(xù)集成平臺(tái)，我把他單獨(dú)提出來(lái)，它很特別：是一個(gè)應(yīng)用交付的主線，他涉及的點(diǎn)很多，自動(dòng)化編譯、自動(dòng)化測(cè)試、自動(dòng)化部署等等，另外橫跨了多個(gè)團(tuán)隊(duì)，帶來(lái)的收益很高。

監(jiān)控及服務(wù)也很特別，對(duì)于我來(lái)說(shuō)，一切數(shù)據(jù)都應(yīng)該有監(jiān)控的能力，所以我更多覺(jué)得監(jiān)控是一種數(shù)據(jù)化的應(yīng)用，和數(shù)據(jù)分析一樣，個(gè)人監(jiān)控觀點(diǎn)是“先數(shù)據(jù)、后監(jiān)控”。

我習(xí)慣把它們映射到對(duì)應(yīng)的層次上，對(duì)每一層的自動(dòng)化手段都不一樣，其實(shí)我覺(jué)得底層的資源及服務(wù)和系統(tǒng)服務(wù)層應(yīng)該越簡(jiǎn)單越好，最好不要在系統(tǒng)層面上有依賴，比如說(shuō)特殊的網(wǎng)絡(luò)設(shè)置，特殊的DNS設(shè)置。

嚴(yán)格禁止系統(tǒng)內(nèi)部調(diào)用通過(guò)運(yùn)維系統(tǒng)路徑，比如說(shuō)DNS、LVS，目的就是為了簡(jiǎn)化服務(wù)間的依賴，對(duì)于運(yùn)維來(lái)說(shuō)部署一個(gè)完整的服務(wù)，就要做到部署一個(gè)包這么簡(jiǎn)單。

另外一個(gè)維度就是運(yùn)維場(chǎng)景的識(shí)別，業(yè)務(wù)形態(tài)不一樣，場(chǎng)景就不一樣，逐步挑選對(duì)運(yùn)維收益最大的部分自動(dòng)化實(shí)現(xiàn)它。

#p#

2.自動(dòng)化的基礎(chǔ)是標(biāo)準(zhǔn)化

自動(dòng)化平臺(tái)必須是經(jīng)驗(yàn)交付平臺(tái)，而非技術(shù)平臺(tái)。

技術(shù)是經(jīng)驗(yàn)的一部分，而我想強(qiáng)調(diào)的是，做每一個(gè)自動(dòng)化平臺(tái)都需要搞清楚：

1. 自己的自動(dòng)化平臺(tái)要解決的問(wèn)題；

2. 能達(dá)到的收益；

3. 使用user是誰(shuí)等。

我將在后面持續(xù)交付平臺(tái)中繼續(xù)體現(xiàn)這個(gè)思路。

我個(gè)人認(rèn)為標(biāo)準(zhǔn)化能體現(xiàn)你對(duì)運(yùn)維理解的精準(zhǔn)度及勇氣。標(biāo)準(zhǔn)化的推進(jìn)很需要運(yùn)維的勇氣，否則沒(méi)法影響研發(fā)按照自己的節(jié)奏走：

標(biāo)準(zhǔn)化是讓人和系統(tǒng)更有效率和效力的做事：效率是快速的做事、效力是正確的做事。

在UC，我完全是按照這套方法論和節(jié)奏去推進(jìn)運(yùn)維工作，自動(dòng)化一定是隨著業(yè)務(wù)發(fā)展而發(fā)展的。

更需要指出的是，越到后續(xù)階段，運(yùn)維工作更是需要和研發(fā)、測(cè)試深度合作完成，所以運(yùn)維自動(dòng)化不能忽略研發(fā)、測(cè)試。另外：

• 各個(gè)部分對(duì)自動(dòng)化都有影響，比如說(shuō)標(biāo)準(zhǔn)化部分的配置標(biāo)準(zhǔn)化（讓配置管理更簡(jiǎn)單）；

• 服務(wù)化部分的組件向公共服務(wù)組件遷移（服務(wù)通過(guò)API暴露，讓服務(wù)的管理更簡(jiǎn)單）；

• 無(wú)狀態(tài)化的服務(wù)雙中心改造，服務(wù)高可用也是依賴技術(shù)而非人來(lái)解決。

接下來(lái)舉兩個(gè)小例子。

這個(gè)圖中兩個(gè)重要的標(biāo)準(zhǔn)化工作就是配置管理標(biāo)準(zhǔn)化和應(yīng)用包的標(biāo)準(zhǔn)化，基于此構(gòu)造的持續(xù)部署系統(tǒng)非常簡(jiǎn)單，不用兼容業(yè)務(wù)的個(gè)性化特點(diǎn)。

很慶幸，我們把所有的java容器全部遷移到自研的容器上，我們的容器接管了所有共性的研發(fā)服務(wù)，比如http服務(wù)，緩存服務(wù)、配置服務(wù)…完全插件化的服務(wù)容器。這是可運(yùn)維性一個(gè)很好的例子。

#p#

3.首先從持續(xù)交付開(kāi)始

有些人問(wèn)，運(yùn)維自動(dòng)化該如何開(kāi)始？

我的一般建議都是把持續(xù)集成或者CMDB作為開(kāi)始主線。持續(xù)交付帶來(lái)的是多個(gè)團(tuán)隊(duì)的利益和價(jià)值，這個(gè)工作可以由運(yùn)維牽頭來(lái)解決，運(yùn)維解決的方法可以先從持續(xù)部署開(kāi)始，然后在對(duì)接上面的持續(xù)集成：

持續(xù)部署系統(tǒng)的建設(shè)可以聯(lián)合研發(fā)、測(cè)試和運(yùn)維來(lái)建設(shè)，方便推廣，降低噪音（反對(duì)聲）。

另外，持續(xù)交付系統(tǒng)會(huì)反向推動(dòng)運(yùn)維內(nèi)部的一些標(biāo)準(zhǔn)化工作，比如說(shuō)環(huán)境標(biāo)準(zhǔn)化、應(yīng)用標(biāo)準(zhǔn)化等等，因?yàn)槟愕牟渴鹨絹?lái)越簡(jiǎn)單。

持續(xù)集成+持續(xù)部署等于持續(xù)交付，實(shí)現(xiàn)面向用戶產(chǎn)品功能的持續(xù)交付。

但持續(xù)集成僅僅是面向應(yīng)用交付的能力封裝，還不能夠成為運(yùn)維自動(dòng)化能力的全部，往上有面向業(yè)務(wù)的全流程自動(dòng)化（調(diào)度平臺(tái)，實(shí)現(xiàn)任務(wù)封裝），往下有OS級(jí)的自動(dòng)化（配置管理）等等。

這是我做持續(xù)集成系統(tǒng)定的一個(gè)業(yè)務(wù)目標(biāo)（供參考）。持續(xù)部署必須要包含對(duì)要管理對(duì)象的生命周期的管理、一鍵化變更管理能力，同時(shí)還需要對(duì)變更后的結(jié)果做到持續(xù)反饋。業(yè)務(wù)和服務(wù)拓?fù)涫腔谥芭渲脴?biāo)準(zhǔn)化的一個(gè)能力實(shí)現(xiàn)，沒(méi)有放到CMDB中。

當(dāng)前我們實(shí)現(xiàn)持續(xù)部署能力有有兩套方案，目前UC使用的基于Cloud Foundry封裝的UAE平臺(tái)。

這種對(duì)應(yīng)用有改造要求的PAAS平臺(tái)不是太好：

一則太復(fù)雜，二則底層服務(wù)有依賴（比如agent重啟，業(yè)務(wù)進(jìn)程也要重啟）

第二種方案，就是無(wú)侵入的運(yùn)維方案，把運(yùn)維對(duì)持續(xù)部署的控制，封裝成標(biāo)準(zhǔn)的事件，大家看看RPM包里面的能力就好理解了，再結(jié)合持續(xù)集成和持續(xù)交付的理念，把他們做成可視化。

4.DevOps的四觀

#p#

我自己對(duì)DevOps的一點(diǎn)認(rèn)識(shí)：

文化觀：突破部門(mén)墻、深度合作的文化。

價(jià)值觀：持續(xù)優(yōu)化、共享責(zé)任、杜絕浪費(fèi)、關(guān)注用戶。

共享責(zé)任是合作的內(nèi)在細(xì)化，談合作太虛無(wú)縹緲。

思維觀：精益、價(jià)值、跨界、敏捷

工具觀：自動(dòng)化平臺(tái)集（實(shí)現(xiàn)價(jià)值的交付）+數(shù)據(jù)化平臺(tái)集（實(shí)現(xiàn)交付價(jià)值的衡量）。

為什么不是DevTest？為什么不是TestOps？為什么不是DTO？

我自己的理解是D和O代表面向用戶服務(wù)能力的兩端，兩端能力的對(duì)接是優(yōu)化的極致。

運(yùn)維人很多時(shí)候都和開(kāi)發(fā)提運(yùn)維友好，缺忽略我們自己要做的東西也要研發(fā)友好。所以很多時(shí)候不要站在“我”的需求立場(chǎng)上，而是“我們”。

14年DevOps調(diào)查報(bào)告，指出要“自動(dòng)化、自動(dòng)化還是自動(dòng)化”。

運(yùn)維自動(dòng)化就是要解決運(yùn)維團(tuán)隊(duì)服務(wù)能力的吞吐率和延時(shí)問(wèn)題，也即如何更多、更快的提供運(yùn)維服務(wù)，其實(shí)是和線上的服務(wù)能力一樣的。

需要思考的問(wèn)題是，制約我們服務(wù)能力的關(guān)鍵因素，是資源約束（服務(wù)器不夠）、還是架構(gòu)約束（架構(gòu)公共化能力不強(qiáng)）、還是運(yùn)維服務(wù)約束（運(yùn)維基礎(chǔ)平臺(tái)DNS/LVS服務(wù)能力）？

這個(gè)可以不斷的驅(qū)動(dòng)我們思考DevOps的產(chǎn)品形態(tài)和狀態(tài)了。當(dāng)然人的意識(shí)很重要哈，D/O分離應(yīng)該走向DO合作。

5.善于借助研測(cè)的力量

運(yùn)維自動(dòng)化的工作少不了研發(fā)測(cè)試的支持，有時(shí)候運(yùn)維復(fù)雜的系統(tǒng)封裝，結(jié)果在研發(fā)側(cè)做一些小小的改造就可以了，然后部門(mén)墻和彼此的強(qiáng)勢(shì)文化導(dǎo)致DO是分離，而不是合作。

我舉兩個(gè)例子，配置管理和名字服務(wù)。

define.conf是把其他底層配置在研發(fā)、測(cè)試和生產(chǎn)環(huán)境的差異消除掉，底層配置文件中采用變量配置方法，通過(guò)define.conf在三個(gè)環(huán)境中定義具體的值來(lái)簡(jiǎn)化配置管理，持續(xù)部署系統(tǒng)就變得極度簡(jiǎn)單，因?yàn)橹恍枰芾硪粋€(gè)define.conf配置即可。

因?yàn)槲覀儤I(yè)務(wù)規(guī)模很小，所以沒(méi)有提配置中心，配置中心在規(guī)模服務(wù)化運(yùn)維下，必須要構(gòu)造的一個(gè)基礎(chǔ)服務(wù)。需要研發(fā)深度支持配合！

名字服務(wù)中心是我的個(gè)人情節(jié)，終于在UC變成了現(xiàn)實(shí)。

我相信很多中小企業(yè)的服務(wù)調(diào)用都是通過(guò)DNS獲取服務(wù)地址來(lái)實(shí)現(xiàn)調(diào)用的，這個(gè)缺點(diǎn)就是故障的時(shí)候，需要運(yùn)維深度參與故障處理（TTL、JDK緩存等等）。

我們?yōu)榇颂匾饨⒁粋€(gè)名字服務(wù)中心，通過(guò)它來(lái)實(shí)現(xiàn)服務(wù)名到實(shí)例的具體映射，同時(shí)調(diào)用端統(tǒng)一實(shí)現(xiàn)服務(wù)的調(diào)度、容錯(cuò)。

現(xiàn)在內(nèi)部業(yè)務(wù)故障，基本上不需要運(yùn)維參與切換和處理了，大大簡(jiǎn)化運(yùn)維故障處理系統(tǒng)的復(fù)雜度，還有服務(wù)擴(kuò)容的時(shí)候，服務(wù)自動(dòng)注冊(cè)不需要人為修改配置文件，更加的自動(dòng)化。需要研發(fā)深度支持配合！

#p#

6.不一定強(qiáng)依賴CMDB

不要覺(jué)得CMDB是自動(dòng)化的前提。cmdb和自動(dòng)化平臺(tái)的關(guān)系有兩種：

1. 自動(dòng)化平臺(tái)與CMDB的關(guān)聯(lián)發(fā)生在某些場(chǎng)景下的某些流程片段，比如說(shuō)業(yè)務(wù)上線流程中的資源自動(dòng)化申請(qǐng)，從CMDB獲取信息。

2. 自動(dòng)化平臺(tái)把變更的信息回寫(xiě)到CMDB，比如說(shuō)應(yīng)用部署系統(tǒng)／DNS系統(tǒng)／LVS系統(tǒng)等信息，目標(biāo)是把CMDB作為元數(shù)據(jù)管理的平臺(tái)，它可以收斂之上服務(wù)之間的數(shù)據(jù)獲取接口。

當(dāng)前我們是這么干的，但是發(fā)揮作用還不大。特別是業(yè)務(wù)規(guī)模不大，而業(yè)務(wù)變化不是非常頻繁時(shí)，CMDB的管理僅僅只需要記錄資源被誰(shuí)，用在哪個(gè)業(yè)務(wù)上即可。在公有云IaaS平臺(tái)下，CMDB的形態(tài)就更簡(jiǎn)單了。

7.以NO OPS為最終目標(biāo)

運(yùn)維自動(dòng)化以挑戰(zhàn)每個(gè)運(yùn)維職責(zé)部分的“no ops”為目標(biāo)，比如說(shuō)服務(wù)器交付／應(yīng)用交付／組件服務(wù)交付等等。

最終這種”no ops”的運(yùn)維平臺(tái)可以讓研發(fā)自己去完成（持續(xù)部署交給研發(fā)），也可以讓用戶來(lái)幫我們決策完成（容量驅(qū)動(dòng)變更）。

把這些專業(yè)的服務(wù)能力可視化封裝起來(lái)，提供API，供其他關(guān)聯(lián)服務(wù)調(diào)用，體現(xiàn)自服務(wù)能力。每個(gè)人運(yùn)維人應(yīng)該帶著可視化管理的要求去面對(duì)自己的日常工作，這樣可以確保自動(dòng)化的能力每個(gè)人都能獲取，并且執(zhí)行結(jié)果是一致的。

8.Docker等不是干掉運(yùn)維

個(gè)人認(rèn)為對(duì)運(yùn)維的影響不是這些技術(shù)，而是基于該技術(shù)之上的產(chǎn)品化能力。但是不同服務(wù)能力的結(jié)合，爆發(fā)出來(lái)的能量需要運(yùn)維人注意：

比如說(shuō)IaaS平臺(tái)和Docker技術(shù)結(jié)合，服務(wù)調(diào)度和名字服務(wù)中心結(jié)合，微服務(wù)對(duì)技術(shù)架構(gòu)標(biāo)準(zhǔn)化影響。

因此DevOps不僅僅是對(duì)D有Ops能力的要求，對(duì)O來(lái)說(shuō)，也要有Dev能力的要求。另外大家可以看看運(yùn)維還有哪些工作，就知道這些技術(shù)對(duì)運(yùn)維的影響了。

分享結(jié)束，謝謝大家。

歡迎大家關(guān)注本文作者老王的微信公眾號(hào)：

如何一起愉快地發(fā)展

“高效運(yùn)維”公眾號(hào)（如下二維碼）值得您的關(guān)注，作為高效運(yùn)維系列微信群（國(guó)內(nèi)領(lǐng)先的運(yùn)維垂直社區(qū)）的唯一官方公眾號(hào)，每周發(fā)表多篇干貨滿滿的原創(chuàng)好文：來(lái)自于系列群的討論精華、運(yùn)維講壇精彩分享及群友原創(chuàng)等。“高效運(yùn)維”也是互聯(lián)網(wǎng)專欄《高效運(yùn)維最佳實(shí)踐》及運(yùn)維2.0官方公眾號(hào)。

提示：目前高效運(yùn)維兩個(gè)微信主群僅有少量珍貴席位，如您愿意，可添加蕭田國(guó)個(gè)人微信號(hào) xiaotianguo 為好友，進(jìn)行申請(qǐng)；或申請(qǐng)加入我們技術(shù)交流群（技術(shù)討論為主，沒(méi)有主群那么多規(guī)矩，更熱鬧）。

重要提示：除非事先獲得授權(quán)，請(qǐng)?jiān)诒竟娞?hào)發(fā)布2天后，才能轉(zhuǎn)載本文。尊重知識(shí)，請(qǐng)必須全文轉(zhuǎn)載，并包括本行及如下二維碼。