六月婷婷导航福利在线|国产日产欧产精品网站|欧美亚洲日韩国产综合网|亚洲中字幕永久在线观看|精品四虎免费观看国产高清|亚洲日本欧美一区二区三区|91国自产精品中文字幕亚洲|无码欧精品亚洲日韩一区app

首頁 > 宏觀 > 正文

微軟打造 13 億參數(shù)小型 LLM AI模型,效果勝于千億參數(shù) GPT-3.5

2023-06-27 09:53:56來源:IT之家

IT之家6月27日消息,AI模型盲堆體積實際上效果并不見得更好,更多要看


(相關(guān)資料圖)

IT之家 6 月 27 日消息,AI 模型盲堆體積實際上效果并不見得更好,更多要看訓(xùn)練數(shù)據(jù)的質(zhì)量,微軟日前最近發(fā)布了一款 13 億參數(shù)的語言模型 phi-1,采用“教科書等級”的高品質(zhì)資料集訓(xùn)練而成,據(jù)稱“實際效果勝于千億參數(shù)的 GPT 3.5”。

▲ 圖源 Arxiv

IT之家注意到,該模型以 Transformer 架構(gòu)為基礎(chǔ),微軟團隊使用了包括來自網(wǎng)絡(luò)的“教科書等級”數(shù)據(jù)和以 GPT-3.5 經(jīng)過處理的“邏輯嚴(yán)密的內(nèi)容”,以及 8 個英偉達 A100 GPU,在短短 4 天內(nèi)完成訓(xùn)練。

▲ 圖源 Arxiv

微軟團隊表示,比起增加模型的參數(shù)量,通過提高模型的訓(xùn)練數(shù)據(jù)集質(zhì)量,也許更能強化模型的準(zhǔn)確率和效率,于是,他們利用高質(zhì)量數(shù)據(jù)訓(xùn)練出了 phi-1 模型。在測試中,phi-1 的分?jǐn)?shù)達到 50.6%,比起 1750 億參數(shù)的 GPT-3.5(47%)還要好。

▲ 圖源 Arxiv

微軟表示,phi-1 接下來會在 HuggingFace 中開源,而這不是微軟第一次開發(fā)小型 LLM,此前,他們打造一款 130 億參數(shù)的 Orca,使用了 GPT-4 合成的數(shù)據(jù)訓(xùn)練而成,表現(xiàn)也同樣比 ChatGPT 更好。

目前關(guān)于 phi-1 的論文已經(jīng)在 arXiv 中發(fā)布,可以在這里找到論文的相關(guān)內(nèi)容。

關(guān)鍵詞:

責(zé)任編輯:hnmd004

  • 電腦的文件恢復(fù)區(qū)在哪里找?恢復(fù)文件已損壞怎么辦?
    電腦的文件恢復(fù)區(qū)在哪里找?恢復(fù)文件已損壞怎么辦?

    電腦的文件恢復(fù)區(qū)在哪里找?1、1 360文件恢復(fù)區(qū)打開【360安全衛(wèi)士】→【木馬查殺】,找到并單擊左下角的【恢復(fù)區(qū)】,就可以找到360文件

    2023-07-04 09:52:57
  • ipad游戲沒有聲音怎么回事?ipad打游戲沒有聲音怎么辦?
    ipad游戲沒有聲音怎么回事?ipad打游戲沒有聲音怎么辦?

    ipad游戲沒有聲音怎么回事?1、ipad游戲沒有聲音可能是忘記開聲音或者設(shè)置了靜音,打開聲音或者關(guān)閉靜音。2、ipad上的游戲設(shè)置沒有啟用聲音

    2023-07-04 09:42:32
  • 電腦快捷方式存在問題是什么原因?快捷方式存在問題怎么解決?
    電腦快捷方式存在問題是什么原因?快捷方式存在問題怎么解決?

    電腦快捷方式存在問題是什么原因?Win11電腦快捷方式可能會出現(xiàn)問題,主要是由于系統(tǒng)更新、病毒感染或者其他原因?qū)е碌???旖莘绞酱嬖趩栴}怎

    2023-07-04 09:34:09
  • DAT是什么文件擴展名?bmp是什么文件擴展名?
    DAT是什么文件擴展名?bmp是什么文件擴展名?

    DAT是什么文件擴展名? dat文件有兩種類型:1、VCD的媒體文件,是數(shù)據(jù)流格式,可以用一般的視頻播放器打開,該類型文件也是MPG格式的,是VCD

    2023-07-03 09:48:00
  • mp3文件格式不支持怎么辦?mp3格式是什么格式?
    mp3文件格式不支持怎么辦?mp3格式是什么格式?

    mp3文件格式不支持怎么辦?是不是好多小伙伴遇到這樣的問題不知道如何解決的,那小編就把方法分享給大家吧,感興趣的小伙伴可以參考看看哈。

    2023-07-03 09:44:46
  • 任務(wù)管理器被禁用怎么解除?任務(wù)管理器中沒有菜單欄如何解決?
    任務(wù)管理器被禁用怎么解除?任務(wù)管理器中沒有菜單欄如何解決?

    任務(wù)管理器被禁用怎么解除?好多小伙伴不知道如何解決的,那小編就把方法給大家解答一下吧,希望可以幫助到大家吧。1、開始 運行 gpedit msc

    2023-07-03 09:40:26
  • 最新資訊

    推薦閱讀

    双流县| 上高县| 荆州市| 博湖县| 资兴市| 平原县| 玉田县| 盐池县| 乳源| 武安市| 杭锦后旗| 新宁县| 科技| 苍梧县| 盐池县| 淮阳县| 沙洋县| 松桃| 高碑店市| 平邑县| 武强县| 浙江省| 晋宁县| 凉山| 外汇| 贵南县| 莒南县| 镇平县| 布拖县| 嘉峪关市| 大连市| 科技| 英山县| 河西区| 六枝特区| 黔南| 施秉县| 温宿县| 永仁县| 蕉岭县| 阆中市|