天天影视网色香欲综合网_大桥久未无码吹潮在线观看_日韩欧美一区二区三区免费看_中文人妻无码一区二区三区

新模型Orion性能提升幅度顯著縮小。這意味著，隨著高質(zhì)量新數(shù)據(jù)減少，AI模型改進(jìn)速度或?qū)⒎啪?。OpenAI成立了一個團(tuán)隊(duì)，研究能讓AI模型保持改進(jìn)的新方法。

高質(zhì)量數(shù)據(jù)不夠用，拖累AI模型改進(jìn)速度——OpenAI這位AI領(lǐng)頭羊又遇到了難題。

據(jù)The Information今日消息，一些測試過Orion的OpenAI員工發(fā)現(xiàn)，雖然Orion的性能超過了OpenAI現(xiàn)有的所有模型，但其性能質(zhì)量提升程度遠(yuǎn)遠(yuǎn)小于從GPT-3到GPT-4的飛躍。這意味著，隨著高質(zhì)量數(shù)據(jù)趨于有限，AI模型的改進(jìn)速度可能會放緩。

不僅如此，Orion的訓(xùn)練中涉及來自舊模型（例如GPT-4與一些推理模型）的AI生成數(shù)據(jù)，這可能導(dǎo)致其重現(xiàn)舊模型的一些行為。

為此，OpenAI成立了一個“基礎(chǔ)”團(tuán)隊(duì)，以在高質(zhì)量新數(shù)據(jù)供應(yīng)減少的情況下，研究能讓AI模型保持改進(jìn)的新方法。據(jù)悉，公司計(jì)劃基于AI合成數(shù)據(jù)訓(xùn)練Orion，并在后期訓(xùn)練中對模型作出更多改進(jìn)。

目前，OpenAI正在推進(jìn)Orion的安全測試，計(jì)劃于明年年初發(fā)布這一模型，其可能會打破“GPT-X”的命名慣例，以反映模型開發(fā)的變化。

值得注意的是，OpenAI在今年收購了Chat.com域名，該域名已重定向至OpenAI的AI驅(qū)動聊天機(jī)器人ChatGPT。

“撞上數(shù)據(jù)墻”

早在2020年，OpenAI就曾在一篇論文中提出Scaling law定律，意指大模型的最終性能主要與計(jì)算量、模型參數(shù)量和訓(xùn)練數(shù)據(jù)量三者的大小相關(guān)，而與模型的具體結(jié)構(gòu)（層數(shù)/深度/寬度）基本無關(guān)。換言之，僅僅增加模型規(guī)模和訓(xùn)練數(shù)據(jù)，就能顯著提升人工智能能力，而無需取得根本性的算法突破。

AI界許多公司都一度將Scaling Law奉為圭臬，但如今，也有越來越多的質(zhì)疑聲出現(xiàn)。

Meta AI人工智能研究院(FAIR)研究員及高級經(jīng)理田淵棟指出，“我畫過一張圖，一開始數(shù)據(jù)量越大，模型性能表現(xiàn)越好，但模型離人類越近就越難獲得新的數(shù)據(jù)，模型就越來越難以改進(jìn)，最后總會有些corner case（邊角案例，即無法想到的或不常見的案例）解決不了，這是data driven（數(shù)據(jù)驅(qū)動）最大的問題?！?/span>

非營利研究機(jī)構(gòu)Epoch AI在今年7月更新的一篇論文中指出，未來數(shù)年內(nèi)，（原始）數(shù)據(jù)增長的速度將難以支撐AI大模型擴(kuò)展發(fā)展的速度，在2026-2032年之間的某個時(shí)間點(diǎn)，數(shù)據(jù)存量將耗盡。

實(shí)際上，OpenAI已不是第一次遭遇“數(shù)據(jù)資源不足”的問題。此前已有媒體報(bào)道指出，在訓(xùn)練GPT-5時(shí)，OpenAI因文本數(shù)據(jù)不足，正在考慮使用YouTube公開視頻轉(zhuǎn)錄出的文本。

如今OpenAI再度碰上數(shù)據(jù)資源難題，甚至因此影響到了新模型進(jìn)展?！暗@代表‘天塌了，’”The Information這篇文章的作者之一Amir Efrati指出，OpenAI正在作出調(diào)整，或許將有新的Scaling Law取代舊Scaling Law。

值得一提的，當(dāng)?shù)貢r(shí)間11月9日，OpenAI安全系統(tǒng)團(tuán)隊(duì)負(fù)責(zé)人翁荔（Lilian Weng）宣布將離開已經(jīng)工作了近7年的OpenAI。她公開分享了發(fā)給團(tuán)隊(duì)的離職信，但其中并未言明具體離職原因及未來職業(yè)去向，僅表示“是時(shí)候重新出發(fā)，探索新的領(lǐng)域了”。

關(guān)注多享有數(shù)，持續(xù)為您分享行業(yè)熱點(diǎn)要聞！

四川多享信息技術(shù)有限公司是一家專注于數(shù)字化服務(wù)、系統(tǒng)開發(fā)、新媒體營銷、農(nóng)村電商的專業(yè)互聯(lián)網(wǎng)公司，公司位于成都高新區(qū)天府二街，成立16年，擁有豐富開發(fā)經(jīng)驗(yàn)，至今已助力5000+中小企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型升級。

研發(fā)了B2C商城系統(tǒng)、私域電商系統(tǒng)、分銷商城系統(tǒng)、S2B2b2C供應(yīng)鏈電商系統(tǒng)、小程序商城系統(tǒng)等，支持中臺云倉、供應(yīng)商、自營商城、直播、短視頻、分銷、零售商管理、運(yùn)營商管理、營銷工具、數(shù)據(jù)分析、會員儲值、積分商城等功能，幫助企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，助力降本增效，獲取更多收益！