Pinterest、Flipboard和Yelp如何節(jié)省云計(jì)算開支

在亞馬遜的ReInvent大會(huì)上，來自Pinterest、Flipboard和Yelp的工程師分享了他們各自公司降低云計(jì)算成本的策略：緊盯負(fù)載，精算成本，巧妙組合云資源。

亞馬遜這樣的云計(jì)算服務(wù)對于小規(guī)模的創(chuàng)業(yè)公司來說是個(gè)福音，但是隨著公司的成長，云計(jì)算的開支增長往往會(huì)超過營收的增長，對于那些提供免費(fèi)服務(wù)的創(chuàng)業(yè)公司來說更是如此。在亞馬遜的Re：Invent大會(huì)上，來自Pinterest、Flipboard和Yelp的工程師分享了他們控制成本的獨(dú)家竅門。

精算成本，精益運(yùn)營

在管理云計(jì)算基礎(chǔ)設(shè)施方面，F(xiàn)lipboard的工程師Scallan提出另一個(gè)看似矛盾的觀點(diǎn)：擁抱云計(jì)算，同時(shí)敬畏云計(jì)算。如果方法得當(dāng)，云計(jì)算是靈活的和低成本的選擇，但是如果缺乏規(guī)劃，讓服務(wù)器空轉(zhuǎn)，成本就會(huì)失控。這也是為什么Flipboard工程師的綽號(hào)是"超級吝嗇鬼"，他們的任務(wù)是為應(yīng)用分配合適的資源并加以充分利用。

在"吝嗇"的驅(qū)使下，經(jīng)過無數(shù)嘗試，如今Flipboard日常的運(yùn)行實(shí)例數(shù)從高峰期的1500個(gè)降低到了今天的900個(gè)。

FlipBoard的亞馬遜云資源配置

Flipboard實(shí)現(xiàn)云計(jì)算精益運(yùn)營的關(guān)鍵是對業(yè)務(wù)輸入和輸出的準(zhǔn)確判斷和預(yù)測。Kleiner Perkins的Bradford建議公司精算出支持一位免費(fèi)用戶的單位成本，以及這個(gè)成本隨著用戶規(guī)模的變化，以及與付費(fèi)用戶體驗(yàn)的關(guān)系。選出最重要的評估指標(biāo)（例如每用戶每月的基礎(chǔ)設(shè)施成本），并評估目前的基礎(chǔ)架構(gòu)在升級前能夠支撐這個(gè)成本多久。

成本的游戲：實(shí)例組合

為了節(jié)省成本，Pinterest、Yelp和Flipboard都采用了亞馬遜AWS的預(yù)付費(fèi)專用實(shí)例。通過租用亞馬遜的高性能專用實(shí)例（Reserved Instance）而不是按需實(shí)例（On-demand Instance），F(xiàn)lipboard過去三年節(jié)省了80%的云計(jì)算費(fèi)用，Pinterest則聲稱節(jié)省了70%。實(shí)際上，專用實(shí)例與按需實(shí)例的盈虧平衡點(diǎn)只需要8、9個(gè)月，如果企業(yè)需要長期租用云計(jì)算資源，那么專用實(shí)例顯然是更劃算的選擇。

Yelp是亞馬遜Elastic MapReduce(EMR)大數(shù)據(jù)引擎的重度用戶，當(dāng)開發(fā)人員同時(shí)運(yùn)行Hadoop任務(wù)，或者夜間分析日志文件的時(shí)候，最高峰會(huì)同時(shí)啟用超過350個(gè)EMR實(shí)例。為了降低成本，Yelp盡可能租用高性能專用實(shí)例減少計(jì)時(shí)費(fèi)用，此外Yelp還部署了一個(gè)任務(wù)緩沖池，讓排隊(duì)的Hadoop任務(wù)能夠盡量平穩(wěn)、高效率地使用云計(jì)算資源。這就避免了為單獨(dú)的一個(gè)61分鐘的任務(wù)支付兩個(gè)小時(shí)的資源費(fèi)用。

為了判斷何時(shí)使用何種實(shí)例，Yelp開發(fā)了一個(gè)名為EMRio的工具，通過分析過往的使用情況，來為任務(wù)選擇最高效的資源。

EMRio的實(shí)例成本分析結(jié)果（橫軸：時(shí)長；縱軸：成本）

在AWS云計(jì)算成本優(yōu)化方面，Pinterest頗有心得，該公司甚至?xí)褂盟^的“機(jī)動(dòng)實(shí)例”（Spot Instance），此類實(shí)例也是按需提供，但是當(dāng)其價(jià)格浮動(dòng)超出用戶最初的出價(jià)時(shí)，會(huì)在不通知用戶的情況下隨時(shí)終止。Pinterest開發(fā)了自動(dòng)擴(kuò)展的看門狗（Watchdog）服務(wù)，能夠在需要更多資源的時(shí)候自動(dòng)判斷是租用按需實(shí)例還是機(jī)動(dòng)實(shí)例。

雖然機(jī)動(dòng)實(shí)例的價(jià)格有時(shí)候會(huì)被炒高，但通常情況下比較穩(wěn)定，能為企業(yè)節(jié)省大量成本。通過租用機(jī)動(dòng)實(shí)例，Pinterest的80臺(tái)前端服務(wù)器的成本只有20美元/小時(shí)，每天的計(jì)算成本從最高峰的1200美元降低到了440美元。是的，你沒看錯(cuò)，Pinterest每天的前端服務(wù)器成本只要440美元。

Pinterest的Park認(rèn)為組合使用按需實(shí)例、專用實(shí)例和機(jī)動(dòng)實(shí)例比看上去要復(fù)雜，你必須了解不同實(shí)例之間的運(yùn)作機(jī)制。例如有些地區(qū)和規(guī)模專用實(shí)例會(huì)缺乏靈活性，而配置機(jī)動(dòng)實(shí)例的應(yīng)用也必須能夠適應(yīng)機(jī)動(dòng)實(shí)例隨來隨走的特性。不過隨著亞馬遜推動(dòng)機(jī)動(dòng)實(shí)例交易市場（Spot marketplace），用戶之間可以交易機(jī)動(dòng)實(shí)例，這讓云計(jì)算的成本游戲變得更加復(fù)雜起來。

技術(shù)選型與人力資源成本

雖然選擇數(shù)據(jù)庫類型主要是技術(shù)架構(gòu)問題，但也直接關(guān)系到企業(yè)云計(jì)算的成本。Instagram創(chuàng)始人Mike Krieger曾說："你的用戶才不關(guān)心你的數(shù)據(jù)庫技術(shù)是不是自己開發(fā)的，這方面適用就好，那怕是租用的也行。 Pinterest的Park也同意這個(gè)觀點(diǎn)，他的團(tuán)隊(duì)就曾經(jīng)嘗試了太多新潮數(shù)據(jù)庫技術(shù)，從MongoDB、Cassandra、Redis等各種時(shí)髦技術(shù)試了個(gè)便，最后發(fā)現(xiàn)這些新技術(shù)的學(xué)習(xí)成本和管理成本成了很大的負(fù)擔(dān)。最后Pinterest用回了"過時(shí)"的MySQL、Memcached和Redis，因?yàn)檫@些成熟技術(shù)擁有強(qiáng)大的社區(qū)支持。此外，新加入的工程師中，掌握這些技術(shù)的人也更多，這都會(huì)降低云計(jì)算的人力資源成本。