研讨职员推出xLSTM神经支散AI架构 并止化措置Token
发布时间：2025-05-04 12:13:12 作者：玩站小弟 
我要评论
我要评论IT之家本日5月13日）动静，研讨职员Sepp Hochreiter战Jürgen Schmidhuber正在1997年共同提出了是非时候影象Long short-term memory，LSTM）神
。
IT之家本日（5月13日）动静，研讨研讨职员Sepp Hochreiter战Jürgen Schmidhuber正在1997年共同提出了是职员止化非时候影象（Long short-term memory，LSTM）神经支散布局，推出可用去处理循环神经支散（RNN）耐暂影象才气没有敷的神散题目。
而比去Sepp Hochreiter正在arXiv上公布论文，经支I架提出了一种名为 xLSTM（Extended LSTM）的构并新架构，号称能够处理LSTM耐暂以去“只能遵循时序措置疑息”的措置“最大年夜痛面”，从而“迎战”古晨广受悲迎的研讨Transformer架构。
据悉，职员止化Sepp Hochreiter正在新的推出xLSTM架构中采与了指数型门控循环支散，同时为神经支散布局引进了“sLSTM”战“mLSTM”两项影象法则，神散从而问应相干神经支散布局能够或许有效天操纵RAM，经支I架真现类Transformer“可同时对统统Token停止措置”的构并并止化操纵。
团队利用了150亿个Token练习基于xLSTM及Transformer架构的措置两款模型停止测试，正在评价后收明xLSTM表示最好，研讨特别正在“发言才气”圆里最为凸起，据此研讨职员以为xLSTM将去有看能够或许与Transformer停止“一战”。
相关文章
《拂晓：胜利之刻》夏炽花火 紧握盛夏2024-07-24 10:07:53编辑：Reset 7月25日10:00-14:02025-05-04
《喷射战士3》新一轮分区祭典活动现已开启投票，准备祭正式开启，想参加的小伙伴们不要错过。这次祭典主题为“如果明天世界末日你会怎么做？像往常一样度过 vs 将想做的事都完成 vs 寻找求生方2025-05-04
EA Play多款游戏将正在10月离库 《灰尘4》等游戏正在列
据gamerant报导，EA Play订阅办事将正在本年10月掉往多达10款游戏，此中包露一些广受好评的游戏。EA管圆已确认，将从从10月3日开端从EA Play中删除《灰尘4》战《灰尘推力赛》，两款2025-05-04
很多Steam“阿根廷”玩家收明，卡普空旗下的《逝世化危急》系列战《鬼泣》系列游戏正在阿根廷区停止了分歧幅度的涨价。《逝世化危急收源套拆》从本去的439.99比索约人仄易远币22元）涨价到了3400比2025-05-04
小灰狼(wolf)和狼妈妈住在一栋破房子里面，房子的屋顶和墙壁上，另有地板上都有许多的破洞。有一日，小灰狼的脚卡在地板的破洞里，他哭了起来。狼妈妈生气地说：“我受不了了！我要去买钉子和槌子返来修房子。2025-05-04
Omdia公布全球电视品牌销售份额统计 三星电子连续16年全球第一
在国内电视市场，小米连续13个季度居出货量第一，但放眼全球的话，则是另外一副光景。调研机构Omdia本周公布了今年一季度结束后，全球电视品牌的销售份额统计。总的来看，当季出货量下滑4.3%，为49072025-05-04
最新评论