改變計(jì)算規(guī)則可以減輕大數(shù)據(jù)對(duì)互聯(lián)網(wǎng)的影響

當(dāng)我們?cè)谌粘Ｉ钪星八从械匾蕾嚮ヂ?lián)網(wǎng)的時(shí)候，由莫沙拉夫·喬杜里和哈沙·馬迪亞斯塔領(lǐng)導(dǎo)的U-M研究小組已經(jīng)找到了一種方法，讓科技公司、和衛(wèi)生系統(tǒng)從我們現(xiàn)有的基礎(chǔ)設(shè)施中擠出更多的能力。

對(duì)大數(shù)據(jù)軟件工具Apache Spark設(shè)計(jì)的改變可以使世界上最大的計(jì)算能力用戶在減輕他們?cè)诨ヂ?lián)網(wǎng)上的負(fù)擔(dān)的同時(shí)，更快地處理高達(dá)16倍的大量任務(wù)。 喬杜里是一名助理教授，Madhyastha是計(jì)算機(jī)科學(xué)和工程的副教授。 該修改稱為Sol，現(xiàn)在可在GitHub上下載。

星火是一個(gè)開(kāi)源的電子框架，充當(dāng)任務(wù)管理器，協(xié)調(diào)龐大的單個(gè)計(jì)算機(jī)網(wǎng)絡(luò)，作為一臺(tái)大型計(jì)算任務(wù)的單機(jī)一起工作。 它是世界上使用最廣泛的同類工具之一，被每一家主要的科技公司以及、電信公司、政府和許多其他公司使用。

當(dāng)Spark在十年前建立時(shí)，這項(xiàng)工作的大部分發(fā)生在大型數(shù)據(jù)中心，那里的巨大機(jī)器庫(kù)位于一個(gè)站點(diǎn)。 但今天，它越來(lái)越多地被用來(lái)連接遍布全球并通過(guò)互聯(lián)網(wǎng)連接的機(jī)器。

喬杜里在加州大學(xué)伯克利分校的研究生期間幫助建造了Spark。 他解釋說(shuō)，它使用一個(gè)稱為執(zhí)行引擎的組件將工作打包給單個(gè)機(jī)器。 它主要是為大型數(shù)據(jù)中心設(shè)計(jì)的，在那里，同一個(gè)本地網(wǎng)絡(luò)上的一組機(jī)器可以快速地相互通信。 但是，當(dāng)機(jī)器相隔數(shù)千英里，通過(guò)相對(duì)狹窄的互聯(lián)網(wǎng)管道連接時(shí)，它的效率就會(huì)降低。

Chowdhury說(shuō)：“Spark現(xiàn)有的執(zhí)行引擎在最后一分鐘就決定在哪里發(fā)送工作——只有在CPU發(fā)出信號(hào)表明它已經(jīng)準(zhǔn)備好進(jìn)行更多的工作之后，它才會(huì)發(fā)送新的任務(wù)?！?“這種方法最大限度地提高了靈活性，當(dāng)一項(xiàng)任務(wù)被安置在一個(gè)單一的數(shù)據(jù)中心時(shí)，這是有意義的。 但互聯(lián)網(wǎng)連接的機(jī)器之間的通信需要更長(zhǎng)的時(shí)間。 最后一分鐘的方法常常使CPU沒(méi)有得到充分利用，這意味著它們正坐在一起等待工作。”

于是，喬杜里和馬達(dá)莎，與研究生研究助理范來(lái)和杰有以及本科生祥峰朱一起寫(xiě)了一個(gè)新的執(zhí)行引擎，名為Sol。 索爾采取了一種更積極主動(dòng)的方法；它不是等待CPU發(fā)出信號(hào)，表明他們已經(jīng)準(zhǔn)備好接受一項(xiàng)新工作，而是猜測(cè)哪些是下一個(gè)排隊(duì)，并積極地向他們推送新任務(wù)。 它還指示機(jī)器在可能的情況下在本地處理數(shù)據(jù)，而不是不斷地在機(jī)器之間移動(dòng)數(shù)據(jù)。

這意味著減少機(jī)器之間數(shù)據(jù)和命令的洗牌，減輕互聯(lián)網(wǎng)的負(fù)擔(dān)，加快數(shù)據(jù)處理。 喬杜里的團(tuán)隊(duì)發(fā)現(xiàn)，它的計(jì)算速度極快，使普通任務(wù)的速度提高了4到16倍。

雖然目前可用的版本是軟件的研究版本，而不是一個(gè)更拋光的產(chǎn)品，喬杜里說(shuō)，以目前的形式發(fā)布它是一種在速度是必不可少的時(shí)候推動(dòng)研究的方式。

他說(shuō)：“范來(lái)已經(jīng)開(kāi)始幫助那些想要嘗試的人了?！?“我們正在盡我們所能迅速行動(dòng)?！?/p>