天天影视网色香欲综合网_大桥久未无码吹潮在线观看_日韩欧美一区二区三区免费看_中文人妻无码一区二区三区

人工智能（AI）最近的進(jìn)步主要?dú)w結(jié)于一點(diǎn)：規(guī)模。

大約在本世紀(jì)初，人工智能實(shí)驗(yàn)室注意到，不斷擴(kuò)大算法或模型的規(guī)模，并持續(xù)為其提供更多數(shù)據(jù)，可以極大地提高算法和模型的性能。

最新的一批AI模型擁有數(shù)千億到超過(guò)萬(wàn)億個(gè)內(nèi)部網(wǎng)絡(luò)連接，并通過(guò)消耗互聯(lián)網(wǎng)的大量資源，學(xué)會(huì)像我們一樣編寫(xiě)代碼。

訓(xùn)練更大的算法需要更強(qiáng)的計(jì)算能力。因此，根據(jù)非營(yíng)利性人工智能研究機(jī)構(gòu)EpochAI的數(shù)據(jù)，為了達(dá)到這一點(diǎn)，專(zhuān)門(mén)用于人工智能訓(xùn)練的計(jì)算能力每年都在翻兩番。

如果這一增長(zhǎng)持續(xù)到2030年，未來(lái)的AI模型將擁有比當(dāng)今最先進(jìn)的算法（如OpenAI的GPT-4）高出10,000倍的計(jì)算能力。

Epoch在最近的一份研究報(bào)告中寫(xiě)道：“如果繼續(xù)下去，我們可能會(huì)在本十年末看到人工智能的巨大進(jìn)步，就像2019年GPT-2的簡(jiǎn)陋文本生成和2023年GPT-4的復(fù)雜問(wèn)題解決能力之間的差別一樣?！?/span>

但現(xiàn)代人工智能已經(jīng)吸納了大量的電力、數(shù)以萬(wàn)計(jì)的先進(jìn)芯片和數(shù)萬(wàn)億的在線實(shí)例。與此同時(shí)，該行業(yè)已經(jīng)經(jīng)歷了芯片短缺，而且研究表明它可能會(huì)耗盡高質(zhì)量的訓(xùn)練數(shù)據(jù)。

假設(shè)公司繼續(xù)投資人工智能擴(kuò)展：這樣的增長(zhǎng)速度在技術(shù)上可行嗎？

Epoch在報(bào)告中探討了人工智能擴(kuò)展的四大制約因素：電力、芯片、數(shù)據(jù)和延遲?？偨Y(jié)：保持增長(zhǎng)在技術(shù)上是可能的，但并不確定。原因如下：

01.動(dòng)力：我們需要大量電力

電根據(jù)Epoch的數(shù)據(jù)，這相當(dāng)于23000個(gè)美國(guó)家庭的年耗電量。但是，即使提高了效率，在2030年訓(xùn)練一個(gè)前沿人工智能模型所需的電力也將是現(xiàn)在的200倍，即大約6千兆瓦。這相當(dāng)于目前所有數(shù)據(jù)中心耗電量的30%。

能提供這么多電力的發(fā)電廠很少，而且大多數(shù)發(fā)電廠可能都簽訂了長(zhǎng)期合同。但這是假設(shè)一個(gè)發(fā)電站就能為一個(gè)數(shù)據(jù)中心供電。

Epoch認(rèn)為，企業(yè)將尋找可以通過(guò)當(dāng)?shù)仉娋W(wǎng)從多個(gè)發(fā)電廠供電的地區(qū)。考慮到計(jì)劃中的公用事業(yè)增長(zhǎng)，走這條路雖然吃緊，但還是有可能的。

為了更好地打破瓶頸，公司可以在多個(gè)數(shù)據(jù)中心之間分配訓(xùn)練。在這種情況下，它們會(huì)在多個(gè)地理位置獨(dú)立的數(shù)據(jù)中心之間分批傳輸訓(xùn)練數(shù)據(jù)，從而降低任何一個(gè)數(shù)據(jù)中心的電力需求。

這種策略需要快速、高帶寬的光纖連接，在技術(shù)上是可行的，谷歌雙子座超級(jí)計(jì)算機(jī)的訓(xùn)練運(yùn)行就是一個(gè)早期的例子。

總而言之，Epoch提出了從1千兆瓦（本地電源）到45千兆瓦（分布式電源）的各種可能性。公司利用的電力越多，可訓(xùn)練的模型就越大。在電力有限的情況下，可以使用比GPT-4高出約10000倍的計(jì)算能力來(lái)訓(xùn)練模型。

02.芯片：能否滿(mǎn)足計(jì)算需求？

所有這些電力都用于運(yùn)行人工智能芯片。其中一些芯片向客戶(hù)提供完整的人工智能模型；一些則訓(xùn)練下一批模型。Epoch仔細(xì)研究了后者。

人工智能實(shí)驗(yàn)室使用圖形處理器（GPU）訓(xùn)練新模型，而英偉達(dá)是GPU領(lǐng)域的佼佼者。臺(tái)積電（TSMC）生產(chǎn)這些芯片，并將它們與高帶寬內(nèi)存夾在一起。預(yù)測(cè)必須考慮到所有這三個(gè)步驟。根據(jù)Epoch的說(shuō)法，GPU生產(chǎn)可能還有剩余產(chǎn)能，但內(nèi)存和封裝可能會(huì)阻礙發(fā)展。

這考慮到預(yù)計(jì)的行業(yè)產(chǎn)能增長(zhǎng)，他們認(rèn)為2030年可能會(huì)有2000萬(wàn)到4億個(gè)AI芯片用于AI訓(xùn)練。其中一些將用于現(xiàn)有模型，而人工智能實(shí)驗(yàn)室只能購(gòu)買(mǎi)其中的一小部分。

范圍如此之大，說(shuō)明模型存在很大的不確定性。但考慮到預(yù)期的芯片容量，他們認(rèn)為一個(gè)模型可以在比GPT-4高出約5萬(wàn)倍的計(jì)算能力上進(jìn)行訓(xùn)練。

03.數(shù)據(jù)：人工智能的在線教育

眾所周知，人工智能對(duì)數(shù)據(jù)的渴求和即將到來(lái)的稀缺性是一個(gè)制約因素。有人預(yù)測(cè)，到2026年，高質(zhì)量的公開(kāi)數(shù)據(jù)流將枯竭。但Epoch認(rèn)為，至少在2030年之前，數(shù)據(jù)稀缺不會(huì)阻礙模型的發(fā)展。

他們寫(xiě)道，按照目前的增長(zhǎng)速度，人工智能實(shí)驗(yàn)室將在五年內(nèi)耗盡高質(zhì)量的文本數(shù)據(jù)，版權(quán)訴訟也可能影響供應(yīng)。

Epoch認(rèn)為這給他們的模型增加了不確定性。但即使法院做出有利于版權(quán)持有者的判決，像VoxMedia、《時(shí)代》、《大西洋月刊》等公司所采取的復(fù)雜的執(zhí)法和許可協(xié)議也意味著對(duì)供應(yīng)的影響將是有限的。

但至關(guān)重要的是，現(xiàn)在的模型在訓(xùn)練中不僅僅使用文本。例如，谷歌的Gemini就是通過(guò)圖像、音頻和視頻數(shù)據(jù)進(jìn)行訓(xùn)練的。

非文本數(shù)據(jù)可以通過(guò)字幕和腳本的方式增加文本數(shù)據(jù)的供應(yīng)。非文本數(shù)據(jù)還可以擴(kuò)展模型的能力，比如識(shí)別冰箱食物的圖片并推薦晚餐。

更推測(cè)性的是，它甚至可能導(dǎo)致遷移學(xué)習(xí)，即在多種數(shù)據(jù)類(lèi)型上訓(xùn)練出來(lái)的模型優(yōu)于僅在一種數(shù)據(jù)類(lèi)型上訓(xùn)練出來(lái)的模型。

Epoch稱(chēng)，還有證據(jù)表明，合成數(shù)據(jù)可以進(jìn)一步擴(kuò)大數(shù)據(jù)量，但具體有多少還不清楚。

DeepMind長(zhǎng)期以來(lái)一直在其強(qiáng)化學(xué)習(xí)算法中使用合成數(shù)據(jù)，Meta公司也使用了一些合成數(shù)據(jù)來(lái)訓(xùn)練其最新的人工智能模型。

但是，在不降低模型質(zhì)量的前提下，使用多少合成數(shù)據(jù)可能會(huì)有硬性限制。而且，合成數(shù)據(jù)的生成還需要更昂貴的計(jì)算能力。

不過(guò)總的來(lái)說(shuō)，包括文本、非文本和合成數(shù)據(jù)在內(nèi)，Epoch估計(jì)有足夠的數(shù)據(jù)來(lái)訓(xùn)練人工智能模型，其計(jì)算能力是GPT-4的8萬(wàn)倍。

04.延遲：規(guī)模越大，速度越慢

最后一個(gè)限制因素與即將推出的算法的規(guī)模有關(guān)。算法越大，數(shù)據(jù)穿越其人工神經(jīng)元網(wǎng)絡(luò)所需的時(shí)間就越長(zhǎng)。這可能意味著訓(xùn)練新算法所需的時(shí)間變得不切實(shí)際。

這一點(diǎn)有些技術(shù)性。簡(jiǎn)而言之，Epoch考察了未來(lái)模型的潛在規(guī)模、并行處理的訓(xùn)練數(shù)據(jù)批次規(guī)模，以及在人工智能數(shù)據(jù)中心服務(wù)器內(nèi)部和服務(wù)器之間處理數(shù)據(jù)所需的時(shí)間。這樣就能估算出訓(xùn)練一個(gè)一定規(guī)模的模型需要多長(zhǎng)時(shí)間。

主要啟示以目前的設(shè)置來(lái)訓(xùn)練人工智能模型終究會(huì)遇到天花板，但不會(huì)持續(xù)太久。

據(jù)Epoch估計(jì)，按照目前的做法，我們可以用比GPT-4高出100萬(wàn)倍的計(jì)算能力來(lái)訓(xùn)練人工智能模型。

05.擴(kuò)展規(guī)模：10000倍

我們會(huì)注意到，在每種限制條件下，可能的人工智能模型的規(guī)模都會(huì)變大，也就是說(shuō)，芯片的上限比功率高，數(shù)據(jù)的上限比芯片高，以此類(lèi)推。

但是，如果我們把所有限制因素放在一起考慮，那么模型只能在遇到第一個(gè)瓶頸時(shí)才有可能實(shí)現(xiàn)。在這種情況下，瓶頸就是功率。即便如此，技術(shù)上還是可以實(shí)現(xiàn)大幅擴(kuò)展。

Epoch認(rèn)為：“如果綜合考慮，這些人工智能瓶頸意味著到本十年末，訓(xùn)練運(yùn)行高達(dá)2e29FLOP是可行的。”

這將代表著相對(duì)于當(dāng)前模型的大約10,000倍的擴(kuò)展，意味著歷史上的擴(kuò)展趨勢(shì)可以不間斷地持續(xù)到2030年。

雖然所有這些都表明持續(xù)擴(kuò)展在技術(shù)上是可能的，但這也做出了一個(gè)基本假設(shè)：人工智能投資將按需要增長(zhǎng)，以資助擴(kuò)展，并且擴(kuò)展將繼續(xù)產(chǎn)生令人印象深刻的進(jìn)步，更重要的是，有用的進(jìn)步。

目前，各種跡象表明，科技公司將繼續(xù)投入歷史性的巨額現(xiàn)金。在人工智能的推動(dòng)下，新設(shè)備和不動(dòng)產(chǎn)等方面的支出已經(jīng)躍升至多年來(lái)從未見(jiàn)過(guò)的水平。

Alphabet首席執(zhí)行官Sundar Pichai在上一季度的財(cái)報(bào)電話會(huì)議上表示：“經(jīng)歷這樣的曲線時(shí)，投資不足的風(fēng)險(xiǎn)要遠(yuǎn)遠(yuǎn)大于投資過(guò)度的風(fēng)險(xiǎn)。”

但支出還需要進(jìn)一步增長(zhǎng)。Anthropic公司首席執(zhí)行官Dario Amodei估計(jì)，今天訓(xùn)練的模型成本可能高達(dá)10億美元，明年的模型成本可能接近100億美元，此后幾年每個(gè)模型的成本可能達(dá)到1000億美元。

這是一個(gè)令人眼花繚亂的數(shù)字，但企業(yè)可能愿意為此付出代價(jià)。據(jù)報(bào)道，微軟已經(jīng)為其Stargate人工智能超級(jí)計(jì)算機(jī)投入了這么多資金，該項(xiàng)目是微軟與OpenAI的合作項(xiàng)目，將于2028年推出。

不言而喻，投資數(shù)百億或數(shù)千億美元的意愿并不能保證。畢竟這一數(shù)字超過(guò)許多國(guó)家的GDP和科技巨頭目前年收入的一大部分。隨著人工智能的光芒逐漸褪去，人工智能能否持續(xù)增長(zhǎng)可能會(huì)變成一個(gè)“你最近為我做了什么”的問(wèn)題。

投資者已經(jīng)在檢查底線。如今，投資金額與回報(bào)金額相比相形見(jiàn)絀。為了證明加大投入是合理的，企業(yè)必須證明其規(guī)模不斷擴(kuò)大，能夠生產(chǎn)出更多更強(qiáng)大的人工智能模型。

這意味著即將推出的模型面臨著越來(lái)越大的壓力，必須超越漸進(jìn)式的改進(jìn)。如果收益下降，或者有足夠多的人不愿意為人工智能產(chǎn)品買(mǎi)單，情況可能會(huì)發(fā)生變化。

此外，一些評(píng)論家認(rèn)為，大型語(yǔ)言和多模態(tài)模型可能只是個(gè)昂貴的死胡同。而且，總有可能出現(xiàn)突破，就像這一輪的突破一樣，表明我們可以用更少的資源完成更多的任務(wù)。我們的大腦只需一個(gè)燈泡的能量就能持續(xù)學(xué)習(xí)，而不需要互聯(lián)網(wǎng)那樣龐大的數(shù)據(jù)量。

Epoch稱(chēng)，盡管如此，如果目前的方法“能將相當(dāng)一部分經(jīng)濟(jì)任務(wù)自動(dòng)化”，其經(jīng)濟(jì)回報(bào)可能高達(dá)數(shù)萬(wàn)億美元，足以證明花費(fèi)的合理性。許多業(yè)內(nèi)人士都愿意下這個(gè)賭注。但究竟結(jié)果如何，目前還不得而知。

技術(shù)是在不斷進(jìn)步的，對(duì)于我們的日常生活，以及商業(yè)活動(dòng)、企業(yè)經(jīng)營(yíng)管理等都會(huì)造成重大影響。對(duì)于商家來(lái)說(shuō)，只有跟上變化步伐，不斷適應(yīng)新形勢(shì)，才能長(zhǎng)久經(jīng)營(yíng)。

四川多享信息技術(shù)有限公司是一家專(zhuān)注于數(shù)字化服務(wù)、系統(tǒng)開(kāi)發(fā)、新媒體營(yíng)銷(xiāo)、農(nóng)村電商的專(zhuān)業(yè)互聯(lián)網(wǎng)公司，公司位于成都高新區(qū)天府二街，成立16年，至今已助力5000+中小企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型升級(jí)。

研發(fā)了B2C商城系統(tǒng)、私域電商系統(tǒng)、分銷(xiāo)商城系統(tǒng)、S2B2b2C供應(yīng)鏈電商系統(tǒng)、小程序商城系統(tǒng)等，支持中臺(tái)云倉(cāng)、供應(yīng)商、自營(yíng)商城、直播、短視頻、分銷(xiāo)、零售商管理、運(yùn)營(yíng)商管理、營(yíng)銷(xiāo)工具、數(shù)據(jù)分析、會(huì)員儲(chǔ)值、積分商城等功能，幫助企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，助力降本增效，獲取更多收益！