首页>资讯 > 民生资讯 > 正文

大语言模型中的涌现现象是不是伪科学?

来源:程序员客栈    2023-06-02 10:08:27

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(资料图)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

关键词:

大语言模型中的涌现现象是不是伪科学?

Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent

生态环境部:持续对环评违法行为保持高压严惩态势-实时焦点

生态环境部:持续对环评违法行为保持高压严惩态势山东“高产环评师”案宣判4人获刑锦华环评造假案的宣判,

膏药能把寒气贴出来吗? 郑州仙佑公司膏药在关节炎中的应用

随着人们对健康问题的日益关注,膏药行业也在不断发展壮大。膏药是一种传统的中药制品,具有多种功效,如消炎止痛、活血化瘀等。随着科技的

GPT-4跨过通用人工智能门槛了吗? 今日讯

最近公众针对ChatGPT等工具的兴起在AI社区提出了一个老问题:通用人工智能(AGI)——即在人类水平上执行的

小i机器人美股涨11.76%_前沿资讯

中国经济网北京6月2日讯小i机器人美股周四收报6 65美元,涨幅11 76%,总市值4 79亿美元

故宫将与中国儿艺共同打造儿童戏剧-短讯

新华社报道6月1日,故宫博物院与中国儿童艺术剧院在北京举行战略合作签约仪式。双方将在剧目创排、打造品牌

外观怎么区分一类卡和二类卡?一类卡很难办吗?

外观怎么区分一类卡和二类卡?一类卡和二类卡在外观上是没有什么区别的,因为都是银行卡,同一家银行发行的银行卡与银行卡之间,除了卡号、

在外地办银行卡需要什么证件?在外地可以办银行卡吗?

在外地办银行卡需要什么证件?只需要提供本人有效身份证件即可,不管是在本地办银行卡还是在外地办银行卡,都只需要本人带上自己的身份证去

全国独立电弧炉生产情况调查统计 全球热议

【全国独立电弧炉生产情况调查统计】本周从数据上来看,全国独立电弧炉开工率、产能利用率降幅明显。主要原

快资讯:闪付是什么意思怎么用_闪付是什么意思

1、银联闪付是中国银联的产业品牌之一,标示银联非接触式支付产品,用于PBOC2 0非接触式IC卡等支付应用。2

首个区块链技术国家标准发布 新标准将于12月起正式实施-快资讯

首个区块链技术国家标准发布新标准将于12月起正式实施

每日聚焦:物业公司的账务处理全套_养鸡场全套账务处理

1、不对  第一章总则  第一条为了规范与农业生产相关的生物资产的确认、计量和相  关信息的披露,根

6月1日起全省正式上汛 山西安排部署防汛工作

黄河新闻网讯(记者侯津刚)记者从山西省防汛抗旱指挥部(简称“省防指”)获悉,根据今年气候形势,省防指

@杭州家长,今天中考志愿填报开始!重要事项和热点问答请收好 头条焦点

本周五、周六(6月2日8:00—6月3日18:00),是杭州市区(指上城区、拱墅区、西湖区、滨江区、钱塘区和西湖

热点聚焦:中国雪乡旅游攻略5天 中国雪乡旅游攻略

今天来聊聊国雪乡旅游攻略5天,中国雪乡旅游攻略的文章,现在就为大家来简单介绍下中国雪乡旅游攻略5天,中

天天热推荐:润达医疗(603108)6月1日主力资金净卖出308.91万元

截至2023年6月1日收盘,润达医疗(603108)报收于11 99元,上涨2 22%,换手率2 31%,成交量13 36万手,成交额1 6亿元。

下一位天后诞生!16岁天才少女晋级法网32强,创18年新纪录,最年轻

刚满16岁才4天的俄罗斯神童安德烈娃MirraAndreeva,在法网女单64强又只花77分钟就以6比1、6比2打败世界第79

抢可以组什么词 抢可以组什么词词

1、抢捍[qiǎnghàn]骏马疾驰貌。2、抢案[qiǎngàn]抢劫事件﹐抢劫案件。3、抢嘴[qiǎngzuǐ]抢先发言﹐抢

【世界时快讯】错爱2电视剧全集多少集_集数不算太多

欢迎观看本篇文章,小升来为大家解答以上问题。错爱2电视剧全集多少集,集数不算太多很多人还不知道,现在

傲农生物负债率逾83% 欲引入国资解压-全球观热点

大股东通过减持“输血”  新快报讯记者刘艳爽报道近日,傲农生物的股价走势可谓大悲大喜。先是公告大股东

花海歌词完整版图片_花海歌词完整版 每日快看

1、歌词:静止了所有的花开遥远了清晰了爱天郁闷爱却很喜欢那时候我不懂这叫爱你喜欢站在那窗台你好久都没

当前消息!沈阳:今明两天地铁和五条公交线延时运营!

6月2日、3日,张杰“曜·北斗”2023未·LIVE巡回演唱会将在沈阳奥林匹克体育中心体育场举办,为确保演出结

二代史莱克七怪未集体成神,没仙草是其次,主要是缺少海神岛试炼

霍雨浩其实也去过冰火两仪眼,但他却只是自私地为了王冬儿,虽然他最后摘回了一株相思断肠红让王冬儿服下,

环球微速讯:qq空间视频转码中怎么办(qq空间视频转码中要多久)

小常来为大家解答以上问题。qq空间视频转码中怎么办,qq空间视频转码中要多久很多人还不知道,现在让我们一

世界即时看!本世纪法甲最年长夺冠者TOP10:布冯41岁居首,小贝、梅西在列

直播吧6月2日讯法甲官方盘点本世纪最年长的10位法甲冠军球员,布冯、贝克汉姆、拉莫斯、阿尔维斯、梅西在列

省退役军人事务厅联合驻晋某部:军地双拥共迎“六一” 天天热头条

省退役军人事务厅联合驻晋某部:军地双拥共迎“六一”,主流媒体,山西门户。山西新闻网是经国务院新闻办审核

全球新消息丨RCEP正式对菲律宾生效

6月2日,区域全面经济伙伴关系协定(RCEP)正式对菲律宾生效。这标志着RCEP对15个成员国全面生效,全球最大的

助企“爬坡过坎” 经济活力迸发 ——从我省助企政策扎实落地看工业经济增长

企业是市场经营的主体,企业发展的走向就是市场的走向,就是经济发展的走向。我省经济表现如何,先来看组数

不飞则已,一飞冲天!QJMOTOR鸿150飒爽亮相,犹带“主角”光环 当前通讯

热闹的北京摩展过去了,可是有些车型的热闹还没停止。凯越的450RR,赛科龙的RA401,钱江的鸿150等等。其实

鱼台金宏建设工程质量检测有限公司_关于鱼台金宏建设工程质量检测有限公司简述

小伙伴们,你们好,今天小夏来聊聊一篇关于鱼台金宏建设工程质量检测有限公司,关于鱼台金宏建设工程质量检

综合资讯

+更多

热点资讯

+更多
平仓清仓都是什么意思?买入平仓是什么意思?
平仓清仓都是什么意思?平仓和清仓两者之间不同的是:平仓是被迫强制把账户内的股票全部卖出,而清仓是投资人自己主动把全部股票一次性卖出 [详细]

Copyright @ 2008-2020  www.43710.com   All Right Reserved Powered by 财经情报网 版权所有

财经情报网   联系邮箱:562 66 29@qq.com

网站备案:沪ICP备2020036824号-12