幺妹直播官方版_幺妹直播直播视频在线观看免费版下载_幺妹直播安卓高清版下载

首頁(yè) > 業(yè)界 > 關(guān)鍵詞  > RNN最新資訊  > 正文

基于牛頓求根法,新算法實(shí)現(xiàn)并行訓(xùn)練和評(píng)估RNN,帶來超10倍增速

2023-10-07 18:01 · 稿源: 機(jī)器之心公眾號(hào)

人們普遍認(rèn)為 RNN 是無法并行化的,因?yàn)槠浔举|(zhì)上的序列特性:其狀態(tài)依賴于前一狀態(tài)。這使得人們難以用長(zhǎng)序列來訓(xùn)練 RNN。近日,一種新算法的出現(xiàn)打破了這一慣常認(rèn)知,可以并行化 RNN 和 NeuralODE 等非線性序列模型的評(píng)估和訓(xùn)練,從而為相關(guān)研究和開發(fā)帶來顯著的速度提升。過去十年

......

本文由站長(zhǎng)之家合作伙伴自媒體作者“機(jī)器之心公眾號(hào)”授權(quán)發(fā)布于站長(zhǎng)之家平臺(tái),本平臺(tái)僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時(shí)間超過平臺(tái)更新維護(hù)時(shí)間,為了保證文章信息的及時(shí)性,內(nèi)容觀點(diǎn)的準(zhǔn)確性,平臺(tái)將不提供完全的內(nèi)容展現(xiàn),本頁(yè)面內(nèi)容僅為平臺(tái)搜索索引使用。需閱讀完整內(nèi)容的用戶,請(qǐng)查看原文,獲取內(nèi)容詳情。

舉報(bào)

  • 相關(guān)推薦
  • 5G再升級(jí)!網(wǎng)速提升10倍

    我國(guó)已建成全球最大5G網(wǎng)絡(luò),5G用戶數(shù)及基站數(shù)量都遠(yuǎn)超全球其他國(guó)家之和。預(yù)計(jì)2024年開始會(huì)進(jìn)入5.5G階段,這是5G技術(shù)的演進(jìn)版。同時(shí)在時(shí)延、定位、可靠性方面也有了十倍的提升,并且能實(shí)現(xiàn)毫秒級(jí)時(shí)延和低成本千億物聯(lián)。

  • 華為發(fā)布全新昇騰AI計(jì)算集群 支持萬億參數(shù)大模型訓(xùn)練

    華為在全聯(lián)接大會(huì)2023期間發(fā)布了全新架構(gòu)的昇騰AI計(jì)算集群Atlas900SuperCluster,該集群可支持超萬億參數(shù)的大模型訓(xùn)練。該集群采用了全新的華為星河AI智算交換機(jī)CloudEngineXH16800,并使用了創(chuàng)新的超節(jié)點(diǎn)架構(gòu),大大提升了大模型訓(xùn)練能力。該集群還通過提升系統(tǒng)可靠性,將大模型訓(xùn)練的穩(wěn)定性從天級(jí)提升到月級(jí)。

  • LLM-Shearing大模型剪枝:用5%的成本拿下SOTA,比從頭開始預(yù)訓(xùn)練更劃算

    陳丹琦團(tuán)隊(duì)近期發(fā)布了一項(xiàng)重要的研究成果,他們開發(fā)了一種名為L(zhǎng)LM-Shearing的大模型剪枝法。這項(xiàng)技術(shù)允許將龐大的預(yù)訓(xùn)練模型剪枝至僅需3%的計(jì)算量和5%的成本,同時(shí)保持著SOTA水平的性能。這有望在大規(guī)模深度學(xué)習(xí)模型的研究和應(yīng)用中產(chǎn)生廣泛的影響。

  • 文心3.5到4.0:版本前進(jìn)0.5背后 推理成本或暴增10倍不止

    十月一節(jié)后第一天就有消息人士透露,百度正在加緊訓(xùn)練文心大模型4.0,或?qū)⒃?0月17日舉行的百度世界大會(huì)上發(fā)布。此前5月,文心大模型3.5版本已經(jīng)發(fā)布,不到半年,4.0上線在即放在了百度世界大會(huì)這樣的重頭戲上,外界期待值直接拉滿。高昂成本倒逼下,通用大模型走向付費(fèi)是大勢(shì)所趨。

  • 京東顯示AI家教機(jī)成家長(zhǎng)優(yōu)選 也更重視教育溝通 銀發(fā)群體消費(fèi)增速60%

    在數(shù)智化時(shí)代,新鮮科技的力量正逐漸滲透進(jìn)各大領(lǐng)域,其中在家庭教育層面,AI家教機(jī)的出現(xiàn)和不斷更新,推動(dòng)了電子教育產(chǎn)品的突破和迭代,帶來了學(xué)習(xí)方式的升級(jí)和教育市場(chǎng)的大變革,讓教育變得更加智能化、個(gè)性化、高效化。 9 月 19 日,京東發(fā)布《2023 AI家教機(jī)趨勢(shì)趣味圖鑒》,指出AI家教機(jī)已然成為家庭教育的新剛需,一二線大城市和沿海城市成為智能電教產(chǎn)品的增?

  • LLM評(píng)估測(cè)試框架DeepEval 可離線評(píng)估大模型性能

    DeepEval是一個(gè)用于對(duì)語言模型應(yīng)用進(jìn)行評(píng)估和單元測(cè)試的框架。它提供了各種指標(biāo),可以測(cè)試語言模型應(yīng)用生成的回復(fù)在相關(guān)性、一致性、無偏見性和無毒性等方面的表現(xiàn)。如果你在開發(fā)聊天機(jī)器人、語言模型應(yīng)用,DeepEval絕對(duì)是一個(gè)提高工程效率的好幫手。

  • 70%新聞機(jī)構(gòu)認(rèn)為,生成式AI為新聞業(yè)帶來新機(jī)遇

    一份由倫敦政治經(jīng)濟(jì)學(xué)院的JournalismAI計(jì)劃發(fā)布的新報(bào)告顯示,生成式AI對(duì)新聞業(yè)帶來了新的機(jī)遇。這份報(bào)告在2023年4月至7月之間對(duì)來自46個(gè)國(guó)家的100多家新聞機(jī)構(gòu)進(jìn)行了調(diào)查。一位來自菲律賓的受訪者評(píng)論道:“AI技術(shù)主要以英語為主要語言開發(fā)不是許多亞洲語言...我們必須加倍努力來創(chuàng)建能夠使用我們本地語言的AI系統(tǒng)。

  • 13萬個(gè)大模型!微軟增強(qiáng)ChatGPT等開源模型,訓(xùn)練、推理能力

    著名AI模型開源平臺(tái)HuggingFace上有超過320,000個(gè)大模型,并且每天保持高速增長(zhǎng)。據(jù)統(tǒng)計(jì)只有大約6,000個(gè)模型支持ONNX格式,但微軟表示,實(shí)際上有超過130,000個(gè)模型支持該格式。在HuggingFace開源平臺(tái)上還有10萬個(gè)模型不支持ONNX格式,鼓勵(lì)更多的技術(shù)研究機(jī)構(gòu)、開源項(xiàng)目加入到ONNX社區(qū),以通過ONNXRuntime增強(qiáng)開發(fā)效率。

  • 華為5G破解演唱會(huì)網(wǎng)絡(luò)難題:接通率達(dá)到99% 速率提升10倍

    9月9日,3.5萬名熱情的粉絲涌入上海虹口體育場(chǎng),備受矚目的楊千嬅MYTREEOFLIVE”演唱會(huì)上海站火熱開唱,現(xiàn)場(chǎng)座無虛席。上海聯(lián)通攜手華為在業(yè)界率先打造超級(jí)容量”解決方案,在本場(chǎng)演唱會(huì)氣氛最高潮時(shí),實(shí)現(xiàn)人數(shù)最密集、最熱點(diǎn)的小區(qū)用戶平均感知速率仍達(dá)20Mbps以上,比傳統(tǒng)保障方案速率提升10倍!三是制定多維度紅黃藍(lán)分級(jí)應(yīng)對(duì)預(yù)案,保障現(xiàn)場(chǎng)在突發(fā)異常的情況下,關(guān)鍵業(yè)務(wù)不受影響,應(yīng)變無憂。

  • 突破大算力瓶頸:華為支持萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

    在華為全聯(lián)接大會(huì)2023期間,華為正式發(fā)布全新架構(gòu)的昇騰AI計(jì)算集群Atlas900SuperCluster,可支持超萬億參數(shù)的大模型訓(xùn)練。華為常務(wù)董事、ICT基礎(chǔ)設(shè)施業(yè)務(wù)管理委員會(huì)主任、企業(yè)BG總裁汪濤介紹,新集群采用全新的華為星河AI智算交換機(jī)CloudEngineXH16800,借助其高密的800GE端口能力,兩層交換網(wǎng)絡(luò)即可實(shí)現(xiàn)2250節(jié)點(diǎn)超大規(guī)模無收斂集群組網(wǎng)。華為改變傳統(tǒng)的服務(wù)器堆疊模式,以系統(tǒng)架構(gòu)創(chuàng)新打造AI集群,實(shí)現(xiàn)算力、運(yùn)力、存力的一體化設(shè)計(jì),突破大算力瓶頸。

熱文

  • 3 天
  • 7天