《連線》揭秘谷歌網(wǎng)絡(luò)架構(gòu)幕后英雄：傳承施樂PARC理念

以下為文章全文： 

杰夫·迪恩(左)和桑杰伊·格馬瓦特(右)

2007年4月1日的西方愚人節(jié)，有關(guān)“惡搞”杰夫·迪恩(Jeff Dean)的真相被披露出來。

在谷歌內(nèi)部某個地方，一個私人網(wǎng)站記錄了有關(guān)迪恩事跡的詳細(xì)列表。迪恩是谷歌最早一批員工之一，同時也是谷歌為何能夠比任何其他互聯(lián)網(wǎng)公司處理更多流量的幕后干將。這個私人網(wǎng)站僅針對谷歌員工開放，但鼓勵所有員工在該網(wǎng)站中添加有關(guān)迪恩事跡的信息。許多員工也積極響應(yīng)。

谷歌員工添加的一條信息這樣寫道：“迪恩曾經(jīng)沒能通過一次杜林(Turing)測試，當(dāng)時他在不到一秒鐘內(nèi)成功確認(rèn)了第203號Fibonacci數(shù)字。”

另一條信息這樣寫道：“在每次提交代碼之前，迪恩都會進(jìn)行相應(yīng)匯編和運(yùn)行工作。只是他這樣做的目的，主要是為了檢測一下匯編器和CPU漏洞。”

第三條所添加信息為：“真空中的光速過去曾被認(rèn)為是每小時35英里左右。于是迪恩花了一個周末時間來優(yōu)化相關(guān)物理性質(zhì)。”

當(dāng)然，這些信息也算不上是什么事跡，但這些情況皆為不虛。對谷歌而言，愚人節(jié)是個神圣的節(jié)日。與任何其他高質(zhì)量的愚人節(jié)笑話一樣，谷歌的惡作劇也是有其事實依據(jù)。這個私人網(wǎng)站是由一位名為肯頓·瓦爾達(dá)(Kenton Varda)的谷歌工程師所組建，在他將該網(wǎng)站鏈接發(fā)給谷歌所有其他員工時，瓦爾達(dá)刻意隱瞞了自己的身份。但不久之后，瓦爾達(dá)就接到了迪恩發(fā)來的信息，原因是迪恩通過查找隱藏在谷歌服務(wù)器當(dāng)中的數(shù)字腳印，進(jìn)而了解到該網(wǎng)站的組建者為瓦爾達(dá)。

在谷歌內(nèi)部，迪恩可謂備受尊敬。但在整個美國科技產(chǎn)業(yè)，知道迪恩的人卻寥寥無幾。只是迪恩不應(yīng)該被世人遺忘。迪恩是谷歌內(nèi)部一個小型軟件工程師團(tuán)隊成員之一，該團(tuán)隊負(fù)責(zé)谷歌基礎(chǔ)軟件和硬件的開發(fā)工作，正是這些工作致使谷歌在互聯(lián)網(wǎng)產(chǎn)業(yè)領(lǐng)域取得了優(yōu)勢地位，且不斷被后來者模仿。更不用說，還有大量后來者希望取代谷歌的強(qiáng)勢地位。

由此我們不由想起了施樂PARC研究中心的故事。該研究中心曾開發(fā)了PC產(chǎn)業(yè)的多項核心技術(shù)，如圖形用戶界面、激光打印機(jī)、以太網(wǎng)和面向?qū)ο缶幊痰鹊取Ｖ皇桥cPARC不同的是，谷歌不會向競爭對手公開其數(shù)據(jù)中心的最新技術(shù)，且諸如迪恩等人又很低調(diào)，因此外界對于谷歌給當(dāng)代計算產(chǎn)業(yè)帶來的基礎(chǔ)性影響了解并不是很多。或許可以這樣講：谷歌就是云計算時代的PARC研究中心。

美國華盛頓大學(xué)粒子物理學(xué)助理教授、科技公司Cloudant首席科學(xué)家邁克·米勒(Mike Miller)表示：“在貝爾實驗室、施樂PARC研究中心‘氣數(shù)將盡’之時，谷歌將一大批極有創(chuàng)新能力的人才招致麾下。谷歌挖走的并不僅僅是這些實驗室的研究人員，而且也是這些實驗室的生命力所在。”

谷歌所開發(fā)的這些技術(shù)，用戶并不能拿在手中或放在桌面上，它們并不在手機(jī)或PC機(jī)上運(yùn)行，而是體現(xiàn)在一條全球范圍內(nèi)的數(shù)據(jù)中心網(wǎng)絡(luò)當(dāng)中。

這些技術(shù)包括影響力很高的軟件平臺，如谷歌文件系統(tǒng)(GFS)、MapReduce和BigTable等，這些技術(shù)能夠支持大量在線應(yīng)用程序，并將相應(yīng)處理工作化為非常微小的部分，然后再傳輸?shù)綌?shù)千臺機(jī)器當(dāng)中，就好比螞蟻搬家，各有各的精確任務(wù)。此外，這些技術(shù)還包括了新一代服務(wù)器、網(wǎng)絡(luò)硬件以及用以運(yùn)行這些技術(shù)的數(shù)據(jù)中心。谷歌的思路是：使所有計算設(shè)備能夠像單一機(jī)器那要運(yùn)行。螞蟻搬家的每只螞蟻分工明確，谷歌數(shù)據(jù)中心也是這種原理。

在硅谷還未從社交網(wǎng)絡(luò)、觸摸屏的最新趨勢回過神來之時，谷歌卻在幕后對其技術(shù)進(jìn)行了重新改造。而不久之后，在其他互聯(lián)網(wǎng)巨頭競相挖掘網(wǎng)絡(luò)數(shù)據(jù)之時，他們?nèi)月湓诠雀韬竺妗Ｔ诠雀鑼ζ渌阉饕妗FS和MapReduce技術(shù)進(jìn)行重新改造后，又催生了Hadoop平臺，該平臺已成為全球最為成功的開源項目之一。BigTable技術(shù)促進(jìn)了NoSQL運(yùn)動的發(fā)展，并導(dǎo)致大量網(wǎng)絡(luò)數(shù)據(jù)庫的誕生。不僅如此，谷歌對于數(shù)據(jù)中心硬件采取的新方式，也促使Facebook、亞馬遜、微軟及其他科技公司采取類似措施。

可以肯定的是，谷歌能夠取得今天的市場業(yè)績，與該公司大量默默無聞的計算機(jī)科學(xué)家多年傾力奉獻(xiàn)密不可分。這些科學(xué)家曾就職于PARC研究中心、貝爾實驗室及其他研究機(jī)構(gòu)。與谷歌一樣，亞馬遜在網(wǎng)絡(luò)基礎(chǔ)服務(wù)領(lǐng)域也有著重要影響力，如亞馬遜發(fā)布了有關(guān)Dynamo文件系統(tǒng)的學(xué)術(shù)資料。只是與亞馬遜相比，谷歌的影響力更為廣泛。

谷歌與施樂PARC研究中心的重大區(qū)別是：谷歌在世人了解到相關(guān)技術(shù)之前，就已經(jīng)從這些技術(shù)中獲取了大量利潤。諸如GFS、MapReduce等工具，使谷歌能夠領(lǐng)先于競爭對手。而現(xiàn)在，谷歌已經(jīng)拋棄了這些工具，并開始使用新一批軟件和硬件。與以往一樣，其他科技公司又只有追趕谷歌的份。

谷歌雙雄

在肯頓·瓦爾達(dá)愚人節(jié)惡搞對象中，本來可有多個目標(biāo)，但迪恩卻成為“最有搞頭”的靶子。瓦爾達(dá)回憶道：“他的一舉一動有如仙人。”

另一位惡搞對象就是迪恩的長期同事桑杰伊·格馬瓦特(Sanjay Ghemawa)。2004年期間，谷歌發(fā)表了有關(guān)MapReduce平臺技術(shù)的學(xué)術(shù)論文。該論文署上了兩個人的名字，即迪恩和格馬瓦特。在BigTable數(shù)據(jù)庫的設(shè)計過程中，這兩人也扮演了重要角色。格馬瓦特也是谷歌GFS文件系統(tǒng)學(xué)術(shù)論文的三名聯(lián)合作者之一。

在瓦爾達(dá)看來，迪恩和格馬瓦特兩人的工作很難分開來看，“他們兩人密切合作，而承擔(dān)了谷歌基礎(chǔ)架構(gòu)開發(fā)工作的大量事務(wù)。在多數(shù)情況下，他們都是聯(lián)手工作，因此很難將兩人的工作截然分開。在谷歌內(nèi)部，所有代碼改變在提交之前，都必須得到其他同事的評估。但就迪恩和格馬瓦特兩人而言，如果其中一人將規(guī)模較大的代碼給對方評估，對方將會立即給出‘LGTM’(“我覺得不錯”的英文首字母縮寫)的評語，原因是他們此前已經(jīng)共同著手代碼改變工作。”

瓦爾達(dá)所說并不虛假。多年以來，迪恩和格馬瓦特已養(yǎng)成這樣的習(xí)慣：一起坐在同一臺電腦前編寫代碼。多數(shù)情況下，是由格馬瓦特負(fù)責(zé)輸入工作。迪恩說：“格馬瓦特對所輸入編程代碼的字距很挑剔。”

早在加盟谷歌之前，迪恩與格馬瓦特已經(jīng)認(rèn)識。在上個世紀(jì)90年代期間，他們兩人都在數(shù)字設(shè)備公司(DEC)負(fù)責(zé)運(yùn)營的多家硅谷實驗室中工作。當(dāng)時迪恩工作地點(diǎn)為DEC的Western Research Lab實驗室，而格馬瓦特工作地點(diǎn)與迪恩僅有兩街之隔，即另一個姊妹實驗室“系統(tǒng)研究中心”(Systems Research Center，src)。正是由于這種關(guān)系，兩人當(dāng)時需要經(jīng)常就一些項目展開合作，且兩人之間的合作關(guān)系非常穩(wěn)固。在DEC工作期間，迪恩和格馬瓦特為Java編程語言編寫了新的匯編器以及用于跟蹤計算機(jī)服務(wù)器的系統(tǒng)測量儀。

在DEC研究人才大遷移過程中，迪恩和格馬瓦特也來到了谷歌。上個世紀(jì)90年代晚期，就在谷歌破土而出之時，DEC卻難以為繼。DEC主要生產(chǎn)體積很大、基于RISC架構(gòu)的服務(wù)器產(chǎn)品，而業(yè)界卻迅速轉(zhuǎn)向使用低成本、基于英特爾x86芯片的小體積服務(wù)器。1998年，DEC被當(dāng)時PC廠商康柏收購。而四年之后，康柏又與惠普合并。如此一來，DEC原有研發(fā)人員逐步流向他處。

迪恩說：“DEC被康柏收購后，DEC各技術(shù)實驗室的日子曾經(jīng)一度很難過。當(dāng)時并不清楚DEC與康柏合并后，DEC實驗室將扮演何種角色。”此時微軟開始在硅谷組建一家研發(fā)中心，于是部分DEC技術(shù)工程師流向微軟。還有部分人員流向虛擬服務(wù)器軟件開發(fā)商VMware。其他大量DEC技術(shù)人員則選擇了加盟谷歌。DEC被康柏收購的那一年(1998年)，也正是谷歌創(chuàng)立的年份。

1998年前后，也正值大量曾最具影響力的科技實驗室風(fēng)光不再，其中包括施樂PARC研究中心和貝爾實驗室等等。這些實驗室曾擔(dān)負(fù)過Unix操作系統(tǒng)、C編程語言等重要技術(shù)的開發(fā)工作。只是眼看著這些實驗室的頂峰期已過，在這些實驗室工作的大量技術(shù)人員開始另謀出路。

加州大學(xué)伯克利分校計算機(jī)科學(xué)教授埃里克·布魯爾(Eric Brewer)表示：“2001年美國網(wǎng)絡(luò)經(jīng)濟(jì)泡沫破裂后，招聘人才最多的兩家公司分別為谷歌和VMware。由于當(dāng)時高科技人才市場供求關(guān)系的嚴(yán)重不對等，這兩家公司乘機(jī)招聘了大量真正有實力的人才。”

與迪恩和格馬瓦特一樣，其他從DEC加盟谷歌的技術(shù)工程師同樣也作出了很大貢獻(xiàn)，其中包括邁克·布洛斯(Mike Burrows)、Shun-Tak Leung以及盧伊茲·安德烈·巴洛索(Luiz Andre Barroso)等。當(dāng)時，這些技術(shù)人員希望找到一份自己感興趣的工作，而谷歌則希望招聘那些能夠運(yùn)營自家搜索引擎的人才。如今回頭一看，當(dāng)時DEC的人才大流動，確實為谷歌取得市場成功提供了基礎(chǔ)條件和潛在機(jī)會。

DEC也是首批成功開發(fā)出互聯(lián)網(wǎng)搜索引擎的科技公司之一。如AltaVista便出自DEC旗下的Western實驗室。至少在初期階段，這些搜索引擎僅僅在DEC單獨(dú)一臺機(jī)器上運(yùn)行。而谷歌之所以能夠超過AltaVista，大部分原因是谷歌采取了新型手段：將其軟件打碎，并將不同任務(wù)分配給大量小型、低成本機(jī)器。這其實正是GFS、MapReduce、BigTable以及其他大量技術(shù)創(chuàng)意的出發(fā)點(diǎn)。

如今回顧起來，谷歌這種做法，其實也是網(wǎng)絡(luò)技術(shù)開發(fā)的自然演進(jìn)過程。加州大學(xué)伯克利分校計算機(jī)科學(xué)教授、大規(guī)模計算專家阿馬多·福克斯(Armando Fox)表示：“諸如谷歌在組建分布于數(shù)千臺計算機(jī)上的數(shù)據(jù)系統(tǒng)過程中，自然會遇到架構(gòu)方面的挑戰(zhàn)。而這些挑戰(zhàn)，與組建單一龐大系統(tǒng)所遇到的難題并不存在太大區(qū)別。由于遭遇難題的相似性，谷歌所招聘DEC人才就顯得至關(guān)重要。”

“學(xué)術(shù)長輩”

迪恩是加盟谷歌的首名DEC技術(shù)工程師。迪恩是追隨其“學(xué)術(shù)長輩”烏爾·霍爾澤(Urs Holzle)而來。

霍爾澤是谷歌早期10名員工之一，同時也是谷歌首名技術(shù)開發(fā)副總裁。他曾負(fù)責(zé)谷歌架構(gòu)的創(chuàng)建工作，該架構(gòu)目前已遍布谷歌位于全球范圍內(nèi)的35個以上數(shù)據(jù)中心(該數(shù)字由外界推測得出)。在加盟谷歌之前，霍爾澤擔(dān)任加州大學(xué)圣巴巴拉分校教授。在此之前，他曾在斯坦福大學(xué)學(xué)習(xí)，導(dǎo)師為戴維·烏恩加爾(David Ungar)，并開發(fā)了如今用于Java編輯語言編輯器中的一些核心技術(shù)。

而迪恩的學(xué)術(shù)導(dǎo)師是烏恩加爾同學(xué)，正是由于這層關(guān)系，霍爾澤成為迪恩的學(xué)術(shù)長輩。1999年期間，由于DEC難以為繼，迪恩跳槽到一家名為MySimon的科技創(chuàng)業(yè)公司。后來他看到霍爾澤已在谷歌工作，于是便給霍爾澤發(fā)了一封電子郵件，并表示希望到谷歌工作。不久迪恩便被曾招聘霍爾澤的人招至谷歌麾下，這個人便是谷歌聯(lián)合創(chuàng)始人拉里·佩奇(Larry Page)。

烏爾·霍爾澤

在加盟谷歌之初，迪恩被指定負(fù)責(zé)谷歌搜索引擎廣告系統(tǒng)的開發(fā)工作。但數(shù)月之后，他進(jìn)入到谷歌核心搜索技術(shù)開發(fā)團(tuán)隊。當(dāng)時由于互聯(lián)網(wǎng)流量的迅速增長，谷歌搜索技術(shù)也需要加以相應(yīng)調(diào)整。隨后格馬瓦特也加盟到迪恩的團(tuán)隊。格馬瓦特之所以能夠加盟谷歌，主要是受原DEC同事迪恩、克里斯那·巴拉特(Krishna Bharat)及蒙尼卡·亨澤格(Monika Henzinger)等人的推薦，因為這些前同事已經(jīng)加盟谷歌。

格馬瓦特說：“公允地講，如果當(dāng)時不是迪恩已經(jīng)在谷歌工作，我可能根本沒有機(jī)會被谷歌招聘。”迪恩與格馬瓦特在谷歌會合后，兩人很快又恢復(fù)了以前的工作合作關(guān)系。在隨后的三、四年中，雖然谷歌核心技術(shù)開發(fā)團(tuán)隊的人員處于不斷變動之中，但迪恩與格馬瓦特兩人同這些人員密切合作，并設(shè)計、組建和修訂了谷歌的網(wǎng)絡(luò)數(shù)據(jù)抓取技術(shù)。正是借助這些后臺技術(shù)，谷歌才能向全球網(wǎng)民返回他們希望查找的搜索結(jié)果。

迪恩表示，自己與格馬瓦特的合作關(guān)系很有效，原因就是兩人能夠?qū)崿F(xiàn)性格互補(bǔ)：格馬瓦特行事作風(fēng)更為冷靜。迪恩說：“我這個人容易急燥，腦子會飛快地想出所有方案，腦子和手都忙個不停。而格馬瓦特雖然也會激動，但會更冷靜一些。他能糾正我的偏差，然后兩人向正確的方向發(fā)展。”

格馬瓦特卻表示，迪恩的工作方式同樣也非常重要，他能促進(jìn)技術(shù)開發(fā)工作向前推進(jìn)。格馬瓦特說：“我經(jīng)常中途停了下來，并思考多種可行方案，同時擔(dān)憂現(xiàn)有方案的不成熟性。而此時就需要有人出來加以鼓勵，并使我們向著目標(biāo)進(jìn)發(fā)。”

在創(chuàng)建GFS文件系統(tǒng)和MapReduce技術(shù)后，迪恩和格馬瓦特的工作取得了重大突破。過去十年中，這些平臺和技術(shù)已被用于谷歌的數(shù)據(jù)中心當(dāng)中，并能夠向谷歌搜索業(yè)務(wù)提供規(guī)模更為龐大的數(shù)據(jù)索引。當(dāng)谷歌抓取全球各地的網(wǎng)頁時，就能通過使用GFS技術(shù)的數(shù)千臺服務(wù)器傳送這些數(shù)據(jù)。而通過MapReduce技術(shù)，這些服務(wù)器又能將這些數(shù)據(jù)轉(zhuǎn)化成數(shù)量單一、可進(jìn)行搜索的索引。

而這些技術(shù)的迷人之處，就在于某臺機(jī)器無法正常工作或網(wǎng)絡(luò)變慢時，這些平臺并不會停止工作。如果你每天像谷歌那樣負(fù)責(zé)數(shù)萬臺服務(wù)器的運(yùn)行，就會發(fā)現(xiàn)機(jī)器“罷工”現(xiàn)象可謂家常便飯。而利用GFS和MapReduce技術(shù)，谷歌就能夠在多臺機(jī)器上復(fù)制數(shù)據(jù)。如果其中一臺機(jī)器工作不正常，另一臺機(jī)器就能馬上頂替進(jìn)來。

迪恩說在談及MapReduce技術(shù)時這樣說道：“由于數(shù)據(jù)索引的工作量非常龐大，導(dǎo)致應(yīng)對機(jī)器故障或數(shù)據(jù)延遲的工作異常復(fù)雜。因此我們開始尋求一種在一系列機(jī)器中可自動平行代替的解決方案。該方案既可提高任務(wù)處理的質(zhì)量和規(guī)模，也能使長期工作的多臺計算機(jī)穩(wěn)定運(yùn)行。”迪恩還表示，谷歌將這些工具應(yīng)用到搜索引擎業(yè)務(wù)當(dāng)中之后，還發(fā)現(xiàn)這些工具也能給其他網(wǎng)絡(luò)服務(wù)提供有益幫助。

BigTable技術(shù)也發(fā)揮出重要功能。與MapReduce一樣，BigTable是在GFS文件系統(tǒng)層面之上運(yùn)行，但卻并不負(fù)責(zé)數(shù)據(jù)處理工作，而是像一個大型數(shù)據(jù)庫那樣運(yùn)行。迪恩說：“BigTable能夠管理大量數(shù)據(jù)，并將這些數(shù)據(jù)傳送到其他機(jī)器當(dāng)中，這些機(jī)器的數(shù)量可以是無限多。”雖然BigTable不會像傳統(tǒng)數(shù)據(jù)中心那樣對所傳輸數(shù)據(jù)加以精確控制，但卻能處理海量數(shù)據(jù)，而傳統(tǒng)意義上的大型機(jī)卻無法勝任這一任務(wù)。

諸如此類的故事還一再上演。隨著谷歌業(yè)務(wù)規(guī)模的不斷擴(kuò)大，該公司需要處理的數(shù)據(jù)也越來越多。這就迫使谷歌需要開發(fā)出新型軟件。

美國云計算服務(wù)提供商Joyent首席技術(shù)官(CTO)詹森·霍夫曼(Jason Hoffman)表示：“如果你希望復(fù)制整個互聯(lián)網(wǎng)并為其建立起數(shù)據(jù)索引，且復(fù)制規(guī)模與真實互聯(lián)網(wǎng)的規(guī)模相一致，那么你該怎么辦？其中難度可想而知。制錘還需打鐵人，壓力也能轉(zhuǎn)化成動力。如果你能面對失敗，就能獲得技術(shù)靈感。”

盧伊茲·巴洛索

數(shù)據(jù)中心帝國

繼迪恩和格馬瓦特之后，巴洛索也來到谷歌。但巴洛索差點(diǎn)未能成行。

巴洛索曾與迪恩在DEC的Western實驗室共事。2011年期間，巴洛索同時獲得了谷歌和VMware的加盟請求。巴洛索曾到谷歌和VMware兩家公司面試和參觀。為作出選擇，巴洛索在一張電子數(shù)據(jù)表上分別列出加盟谷歌或VMware的理由。只是結(jié)果同樣讓他很為難：加盟谷歌的理由有122條，而加盟VMware的理由也是122條。

于是巴洛索便同迪恩討論此事。迪恩則問道，在巴洛索電子數(shù)據(jù)表所列出的加盟理由中，是否寫上了他參觀谷歌那天，還獲得了執(zhí)行主管查理·艾耶斯(Charlie Ayers)提供的法式焦糖布丁(Creme brulee)?迪恩回憶道：“巴洛索最喜歡吃這種焦糖布丁，我跟巴洛索提起這件事時，他一拍腦門說，自己還真給忘了。”于是巴洛索第二天早上就接受了谷歌的加盟請求。

而巴洛索之所以不同尋常，原因就是從嚴(yán)格意義上講，他并不是一名軟件工程師。在DEC工作期間，他曾協(xié)助多核處理器的技術(shù)開發(fā)。巴洛索加盟谷歌軟件開發(fā)團(tuán)隊不久，霍爾澤給他安排了一項新工作：對谷歌硬件架構(gòu)進(jìn)行調(diào)整，此事不但涉及服務(wù)器和其他設(shè)備，而且也包括數(shù)據(jù)中心的硬件設(shè)備。巴洛索說：“當(dāng)時在谷歌的技術(shù)開發(fā)人員中，也就算我同硬件打過一點(diǎn)交道。”

霍爾澤、巴洛索和谷歌的“平臺團(tuán)隊”開始思考如何改變公司的服務(wù)器架構(gòu)。2003年期間，為壓縮成本，谷歌不再從戴爾和惠普等公司處購買常規(guī)服務(wù)器，而改為自行設(shè)計服務(wù)器，然后向交由亞洲硬件廠商代工，而這些廠商同時也是戴爾和惠普服務(wù)器的代工商。總而言之，谷歌繞開了戴爾和惠普這兩個產(chǎn)品銷售中間人。

與其他服務(wù)器不同，谷歌自行設(shè)計服務(wù)器當(dāng)中包括了12伏電池，以防數(shù)據(jù)中心服務(wù)器失去外部主要電源時，這些電池還能與其他電源連接。谷歌稱，這種處理方式，比常規(guī)數(shù)據(jù)中心的不間斷電源設(shè)備(UPS)更有效率。

隨后谷歌技術(shù)開發(fā)團(tuán)隊便考慮如何放置這些服務(wù)器。曾經(jīng)有那么一段時間，谷歌僅僅是從其他公司處租賃數(shù)據(jù)中心所需空間。但巴洛索及其團(tuán)隊卻開始從無到有設(shè)計和組建谷歌自家數(shù)據(jù)中心，并希望通過此種方式，不但能夠節(jié)省資金和電力，而且還能提高谷歌其他網(wǎng)絡(luò)服務(wù)的整體性能。

于是谷歌開始在美國俄勒岡州達(dá)爾斯等農(nóng)村地區(qū)部署新設(shè)備，部分原因是這些地區(qū)的電力收費(fèi)標(biāo)準(zhǔn)較低，且有的地區(qū)還提供稅收優(yōu)惠。但谷歌這樣做的主要目的，還是希望使所有數(shù)據(jù)中心能夠像一臺單一大型機(jī)那樣運(yùn)行。巴洛索和霍爾澤將這種方式稱為“倉庫規(guī)模的計算”。

洛索和霍爾澤在2009年發(fā)表的《作為計算機(jī)的數(shù)據(jù)中心》一書中寫道：“在這些設(shè)施中，大部分的硬件和軟件資源必須共同協(xié)作，從而提供高標(biāo)準(zhǔn)的互聯(lián)網(wǎng)服務(wù)，而只有整體性的設(shè)計和部署方案才能實現(xiàn)此目的。換句話說，我們必須將數(shù)據(jù)中心本身視為一種大規(guī)模的倉庫式計算。”

谷歌技術(shù)團(tuán)隊對數(shù)據(jù)中心采取了新的組建方案，他們將服務(wù)器、網(wǎng)絡(luò)設(shè)備及其他硬件打包到一起，然后放入火車或輪船經(jīng)常使用的集裝箱當(dāng)中。通過這些“模塊”，就能實現(xiàn)數(shù)據(jù)中心的規(guī)模化組建。這樣做的目的是使每個模塊發(fā)揮出最大功能。事實上，集裝箱模塊思路來自佩奇。2003年期間，他曾看到Internet Achieve公司在一份演示稿給出了類似方案并因此獲得靈感。但巴洛索已記不清該創(chuàng)意究竟是來自何人，“反正該創(chuàng)意不是由我提出。”

谷歌達(dá)爾斯數(shù)據(jù)中心于2005年正式上線服役。隨后數(shù)年中，經(jīng)常有媒體報道谷歌擁有數(shù)據(jù)中心模塊及定制化服務(wù)器，但其中詳情一直到2009年才被揭曉。2009年，谷歌在硅谷總部舉行了一次小型會議，并披露了其數(shù)據(jù)中心的解決方案。在數(shù)據(jù)中心組建事宜上，谷歌并不僅僅滿足于技術(shù)創(chuàng)新，而是首先默默工作，等到其性能穩(wěn)定后再與外界分享相應(yīng)方案。

泰斯拉效應(yīng)

《連線》記者史蒂芬·列維(Steven Levy)在其《谷歌：In The Plex》一書中披露，佩奇本人是發(fā)明家尼古拉·泰斯拉(Nikola Tesla)的“粉絲”。佩奇認(rèn)為，泰斯拉作為發(fā)明家的歷史地位可與愛迪生并列，但缺點(diǎn)是無法將自己的發(fā)明轉(zhuǎn)化為盈利，且不能保持自己技術(shù)發(fā)明能夠長期被外界認(rèn)可。

有關(guān)泰斯拉給人以警示意義的傳奇故事，無疑也在一定程度上影響了谷歌對待其核心技術(shù)的態(tài)度。谷歌將這些技術(shù)視為商業(yè)機(jī)密。與蘋果一樣，谷歌非常重視核心技術(shù)的保密工作。然而在不少情況下，一些技術(shù)在谷歌內(nèi)部使用數(shù)年后，谷歌又會開放相關(guān)技術(shù)。霍爾澤說：“我們希望能夠在不失去自身競爭力前提下，盡可能向外部開放一些技術(shù)。我們會與外界就某些創(chuàng)意進(jìn)行交流，但不會提供具體實施方案。”

2003年到2004年期間，谷歌發(fā)表了有關(guān)GFS文件系統(tǒng)和MapReduce技術(shù)的論文。谷歌讓這些論文自己來說話。不久以后，一位名為道格·卡廷(Doug Cutting)的開發(fā)者利用這些論文資料，而組建了一種名為“Nutch”的索引系統(tǒng)，該系統(tǒng)可用于開源搜索引擎。卡廷后來加盟谷歌主要競爭對手雅虎后，該項目又被修改成為“Hadoop”。

隨著互聯(lián)網(wǎng)服務(wù)器處理數(shù)據(jù)規(guī)模的增長，Hadoop技術(shù)此前已被大量網(wǎng)絡(luò)服務(wù)巨頭所使用，其中包括Facebook、Twitter和微軟等，目前又在向其他商業(yè)用戶拓展。美國市場研究公司IDC此前發(fā)布預(yù)測報告稱，到2016年時，Hadoop項目所引發(fā)的軟件市場規(guī)模將高達(dá)8.13億美元。

而BigTable技術(shù)又在重復(fù)這一舉動。2006年期間，谷歌發(fā)表了有關(guān)其數(shù)據(jù)庫技術(shù)的論文，而亞馬遜也公布了Dynamo數(shù)據(jù)存儲技術(shù)的相關(guān)資料。這些舉措引發(fā)了NoSQL運(yùn)動，目的是借此組建規(guī)模達(dá)數(shù)千臺機(jī)器的數(shù)據(jù)庫。

Joyent的霍夫曼表示：“如果你仔細(xì)研究一下每一種NoSQL解決方案，其實任何一種都將回溯到亞馬遜Dynamo或谷歌BigTable論文資料。如果谷歌或亞馬遜不公布這些學(xué)術(shù)論文，情況將會怎樣？”

谷歌的硬件運(yùn)營情況則稍有不同。對于谷歌數(shù)據(jù)中心所使用的硬件設(shè)備詳細(xì)情況，我們還知之甚少。但谷歌的這些硬件舉措，無疑已經(jīng)被其他科技及其他產(chǎn)業(yè)所效仿。在亞洲硬件代工商的幫助下，F(xiàn)acebook也在設(shè)計自家服務(wù)器、服務(wù)器架臺和存儲器等硬件設(shè)備。知情人士透露，亞馬遜和微軟也在這樣做。而隨著Facebook以開源計算基金會的名義對其設(shè)計采取“開源”措施，其他公司也紛紛加入到自行設(shè)計硬件的行列。

更為重要的是，模塊數(shù)據(jù)中心已成為網(wǎng)絡(luò)服務(wù)的主流，如微軟、eBay及其他數(shù)不清的科技公司都在使用此類模塊。微軟數(shù)據(jù)中心業(yè)務(wù)前主管邁克·曼諾斯(Mike Manos)曾表示，數(shù)據(jù)中心模塊的創(chuàng)意并非來自谷歌，類似模塊創(chuàng)意在上個世紀(jì)60年代就已經(jīng)提出。但無論如何，谷歌是將該模塊付諸實踐的首家公司。就像Cloudant的米勒指出的那樣，谷歌GFS文件系統(tǒng)和MapReduce技術(shù)也是從以往技術(shù)中獲得靈感，但谷歌卻能利用以往創(chuàng)意來解決新問題。

曾為DEC系統(tǒng)研究中心實驗室的辦公樓，目前已歸亞馬遜所有

方興未艾

頗具諷刺意義的是，谷歌此前已采取相應(yīng)措施來取代上述基礎(chǔ)技術(shù)。過去數(shù)年中，谷歌放棄了GFS文件系統(tǒng)，而代之以名為“Colossus”的新平臺。在搜索引擎算法事宜上，谷歌已使用了名為“Caffeine”的新系統(tǒng)。該系統(tǒng)包含了MapReduce的一些技術(shù)成份，但運(yùn)營方式有很大不同，并能實現(xiàn)實時索引，而不是從抓取數(shù)據(jù)中重新建立索引。

谷歌達(dá)爾斯數(shù)據(jù)中心或許將繼續(xù)使用，但估計該中心不會安裝谷歌的最新硬件設(shè)備。對于谷歌數(shù)據(jù)中心所使用的最新硬件，我們了解還不多。但考慮到谷歌一直致力于硬件設(shè)計創(chuàng)新的歷史，我們有理由相信，谷歌在其他數(shù)據(jù)中心仍在測試最新款硬件。

近年以來，谷歌發(fā)表了有關(guān)Caffeine及其他兩個軟件平臺的學(xué)術(shù)論文。這兩個平臺分別為Pregel和Dremel，前者涉及“圖譜”數(shù)據(jù)庫技術(shù)，即能分析兩種數(shù)據(jù)之間的關(guān)系；而Dremel則能分析和處理數(shù)據(jù)。此前已有大量基于Pregel技術(shù)的開源項目誕生，至少已出現(xiàn)一個源于Dremel技術(shù)的項目。Cloudant的米勒表示，Caffein論文資料公布后，已開始對Hadoop和NoSQL市場帶來影響。

前述各種技術(shù)，只是谷歌曾投入使用技術(shù)的小部分。可以肯定的是，谷歌尚有大量技術(shù)并未被外界所了解。但無論谷歌正在使用何種新技術(shù)，該公司肯定不久后又會加以更新。去年5月，加州大學(xué)伯克利分校教授布魯爾宣布，他將加盟正在開發(fā)“下一代架構(gòu)”的谷歌技術(shù)團(tuán)隊。布魯爾當(dāng)時說道：“云計算產(chǎn)業(yè)尚處于初期發(fā)展階段，因此還有很大改進(jìn)提高的空間。”

分布式計算專家布魯爾加盟谷歌，也從一個側(cè)面證實，谷歌就是施樂PARC研究中心的當(dāng)代繼承者。只是谷歌在PARC理念基礎(chǔ)上邁出了更遠(yuǎn)步伐。

從谷歌的研發(fā)運(yùn)營管理模式中，你總能夠看到DEC的痕跡，而DEC又要回溯到PARC研究中心的早期階段。DEC的系統(tǒng)研究中心(src)實驗室由羅伯特·泰勒(Robert Taylor)創(chuàng)建，正是他曾在PARC創(chuàng)建了計算機(jī)科學(xué)實驗室。

泰勒之所以要創(chuàng)建src實驗室，原因是在80年代初，泰勒認(rèn)為PARC已迷失了方向。泰勒說：“我在PARC的大量同事已對該研究中心不再抱任何希望，因此他們就到了我這兒。”他以PARC計算機(jī)科學(xué)研究室為原型，而創(chuàng)建了src實驗室。從某種程度上講，泰勒這一舉措也取得了成功。

但與大量其他企業(yè)所運(yùn)營的研究機(jī)構(gòu)一樣，src實驗室也有其弱點(diǎn)。該實驗室的最新技術(shù)研發(fā)成果，需要很長時間才能轉(zhuǎn)化為投放市場的產(chǎn)品。這種情況也適用于DEC旗下的Western實驗室。正是這種原因，最終迫使曾在Western實驗室工作的迪恩加盟谷歌。迪恩說：“技術(shù)與真實用戶的分離，也是我最終考慮加盟一家科技創(chuàng)業(yè)公司的原因。”

只是谷歌并不是尋常意義上的科技創(chuàng)業(yè)公司。谷歌所制定的管理措施，能夠使該公司在完成技術(shù)開發(fā)后迅速投入使用。谷歌既可說是研究型機(jī)構(gòu)，也可以說并非如此。格馬瓦特說：“谷歌架構(gòu)工作并不是當(dāng)成研究項目，這些工作讓我們能夠解決產(chǎn)品中遇到的問題。”

對某些谷歌員工而言，谷歌核心架構(gòu)技術(shù)開發(fā)工作的缺點(diǎn)是：你不得告訴任何人你正從事的工作。這也是谷歌工程師阿米爾·邁克爾(Amir Michael)選擇從谷歌離職并加盟Facebook的原因之一。盡管如此，谷歌有時也允許這些員工發(fā)表自己的研究成果甚至公開討論相關(guān)問題。

對谷歌而言，這無疑是一種平衡手段。雖然仍有不少人對這種方式頗有微辭，但不能不說該手段很有效。不可否認(rèn)的是，谷歌的這些方式已推動了整個互聯(lián)網(wǎng)產(chǎn)業(yè)向前發(fā)展，而施樂PARC研究中心從未有過這樣的佳績。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]