成人免费视频在线播放-成人免费视频在线观看-成人免费视频在线看-成人免费网站久久久-成人免费网站视频www

行業(yè)資訊

新聞資訊

行業(yè)資訊

當(dāng)前位置：首頁 / 新聞資訊 / 行業(yè)資訊

日本聯(lián)合研究團(tuán)隊(duì)發(fā)布Fugaku-LLM大模型,在富岳超算上訓(xùn)練大模型

發(fā)布日期：2024-05-11

458 次

5 月 11 日消息，由多方企業(yè)和機(jī)構(gòu)組成的日本聯(lián)合研究團(tuán)隊(duì)昨日發(fā)布了 Fugaku-LLM 大模型。該模型的最大特色就是其是在 Arm 架構(gòu)超算“富岳”上訓(xùn)練的。

Fugaku-LLM 模型的開發(fā)于 2023 年 5 月啟動，初期參與方包括富岳超算所有者富士通、東京工業(yè)大學(xué)、日本東北大學(xué)和日本理化學(xué)研究所（理研）。

而在 2023 年 8 月，另外三家合作方 —— 名古屋大學(xué)、CyberAgent（也是游戲企業(yè) Cygames 的母公司）和 HPC-AI 領(lǐng)域創(chuàng)企 Kotoba Technologies 也加入了該模型研發(fā)計(jì)劃。

1 - Copy.png

▲ 富岳超算。圖源富士通新聞稿

在昨日發(fā)布的新聞稿中，研究團(tuán)隊(duì)表示其充分挖掘了富岳超算的性能，將矩陣乘法的計(jì)算速度提高了 6 倍，通信速度也提升了 3 倍，證明大型純 CPU 超算也可用于大模型訓(xùn)練。

Fugaku-LLM 模型參數(shù)規(guī)模為 13B，是日本國內(nèi)最大的大型語言模型。

其使用了 13824 個(gè)富岳超算節(jié)點(diǎn)在 3800 億個(gè) Token 上進(jìn)行訓(xùn)練，其訓(xùn)練資料中 60% 為日語，其他 40% 包括英語、數(shù)學(xué)、代碼等部分。

該模型的研究團(tuán)隊(duì)宣稱 Fugaku-LLM 模型可在交流中自然使用日語敬語等特殊表達(dá)。

具體到測試成績上，該模型在日語 MT-Bench 模型基準(zhǔn)測試上的平均得分為 5.5，排在基于日本語料資源的開放模型首位，并在人文社科類別中得到了 9.18 的高分。

目前 Fugaku-LLM 模型已在 GitHub 和 Hugging Face 平臺公開，外部研究人員和工程師可在遵守許可協(xié)議的前提下將該模型用于學(xué)術(shù)和商業(yè)目的。

版權(quán)聲明：本站內(nèi)容除特別聲明的原創(chuàng)文章之外，轉(zhuǎn)載內(nèi)容只為傳遞更多信息，并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題，請及時(shí)通過電子郵件或電話通知我們，以便迅速采取適當(dāng)措施，避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話：020-2204 2442,郵箱：Sales@greentest.com.cn。

上一篇: 長城汽車：6C 超快充電芯已進(jìn)入驗(yàn)證階段,將加快固態(tài)電池上車應(yīng)用
下一篇: 新思科技面向臺積公司先進(jìn)工藝加速下一代芯片創(chuàng)新

為您精選

神經(jīng)解碼革命：腦機(jī)接口技術(shù)開啟人機(jī)共融新時(shí)代

2025年4月10日，全球電子元器件供應(yīng)鏈領(lǐng)軍者貿(mào)澤電子（Mouser Electronics）正式發(fā)布《創(chuàng)新同行》（Empowering Innovation T···

更新日期：2025-04-10 216 次
AI芯片獨(dú)木難支！DISCO季度出貨額近一年首降，股價(jià)單日重挫14%跌穿兩年防···

全球半導(dǎo)體設(shè)備市場迎來分化信號。4月8日，日本晶圓切割龍頭DISCO披露2024財(cái)年第四財(cái)季（2025年1-3月）關(guān)鍵數(shù)據(jù)：非合并出貨···

更新日期：2025-04-10 185 次
北電數(shù)智政務(wù)大模型助力打造更加安全高效政務(wù)服務(wù)體系

當(dāng)前，人工智能技術(shù)正以破竹之勢推動政務(wù)服務(wù)體系數(shù)智化升級。IDC數(shù)據(jù)顯示，中國人工智能在政府領(lǐng)域的應(yīng)用滲透度已達(dá)52%，位···

更新日期：2025-03-06 398 次
華為發(fā)布新一代全閃分布式存儲業(yè)界最高密、最低功耗

3月4日消息，在昨日的巴塞羅那MWC25上，華為發(fā)布AI-Ready的數(shù)據(jù)存儲，助力運(yùn)營商全面擁抱AI時(shí)代。據(jù)官方介紹，AI-Ready的數(shù)據(jù)···

更新日期：2025-03-04 317 次
Marvell宣布推出首款2nm芯片,基于臺積電N2，支持AI XPU、交換機(jī)開發(fā)

3 月 4 日消息，Marvell美滿電子當(dāng)?shù)貢r(shí)間昨日公布了其首款2nmIP 驗(yàn)證芯片。該芯片采用臺積電N2 制程，是 Mavell 基于該節(jié)點(diǎn)開···

更新日期：2025-03-04 300 次