环球新消息丨大语言模型中的涌现现象是不是伪科学？
来源:程序员客栈
发表时间:2023-05-04 06:51:34
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(相关资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
-
环球新消息丨大语言模型中的涌现现象是不是伪科学？
2023-05-04 -
天天热头条丨今年“五一”民宿订单达2019年5倍，演唱会周边民宿吸粉“00后”
2023-05-04 -
continue结束整个循环过程_continue不是结束本次循环而是终止整个循环的执行
2023-05-04 -
夏装想穿出彩，配色才是重点！这几个颜色一定不能错过 当前滚动
2023-05-04 -
方炳超_关于方炳超介绍|当前最新
2023-05-03 -
当前头条：北京至奥克兰直飞航班复飞
2023-05-03 -
创维电视 L100D 100英寸 Smart Mini背光 240Hz超高刷电视怎么样值得推荐建议选购买|全球快报
2023-05-03 -
世界关注：里弗斯：G1最后一回合梅尔顿主动要防塔图姆 结果后者都接不到球
2023-05-03 -
公司要对工伤认定不服时该怎么办 每日热点
2023-05-03 -
下轮取胜即夺冠，记者：哈维给巴萨全队奖励了五天假期
2023-05-03 -
全球观天下！烟台市区800余座雨水篦子打开，1.6万余个检查井防坠网完成排查
2023-05-03 -
时讯：国海证券给予华电国际买入评级
2023-05-03 -
方洲新概念·最新高考满分作文第一解密_关于方洲新概念·最新高考满分作文第一解密介绍
2023-05-03 -
天天热门:美团W：第三季度餐饮外卖及美团闪购业务的总订单量同比增长16.2%
2023-05-03 -
世界观热点：2022及23Q1业绩点评：优质项目储备丰富，23年起业绩有望明显修复
2023-05-03 -
孙砚军
2023-05-03 -
孙益振
2023-05-03 -
高盛：百胜中国(09987)首季利润高于预期 评级维持“买入”
2023-05-03 -
全国青少年篮球公开赛（三亚赛区）开赛 每日热闻
2023-05-03 -
分秒必争赶工期 厦门北站公交枢纽站计划福厦高铁通车后投用 今日最新
2023-05-03 -
集度与小米，谁先撑不住？
2023-05-03 -
萱草花歌词完整版3分钟-萱草花歌词 天天热消息
2023-05-03 -
泰山·新青年音乐节首日演出落幕 公交车免费送乐迷返程
2023-05-03 -
世界视讯！然的拼音_然怎么读
2023-05-03 -
等腰三角形的性质（等腰三角形）|世界观察
2023-05-03 -
环球头条：湖勇大战G1主裁为马克-戴维斯 曾“夺走”维金斯对东契奇的隔扣
2023-05-02 -
全球热点评！地方车展提振车市消费，新能源品牌花式优惠吸引购车
2023-05-02 -
五一畅游张家界｜袁家界景区五一假日旅游接待工作有序
2023-05-02 -
dvr和nvr是什么意思 dvr和nvr有什么区别
2023-05-02 -
全市场：凯鲁比尼仍被禁足，尤文准备正式报价那不勒斯总监
2023-05-02
-
守住网络直播的伦理底线
2021-12-16 -
石窟寺文化需要基于保护的“新开发”
2021-12-16 -
电影工作者不能远离生活
2021-12-16 -
提升隧道安全管控能力 智慧高速让司乘安心
2021-12-16 -
人民财评：提升消费体验，服务同样重要
2021-12-16 -
卫冕？突破？旗手？——武大靖留给北京冬奥会三大悬念
2021-12-16 -
新能源车险专属条款出台“三电”系统、起火燃烧等都可保
2021-12-16 -
美术作品中的党史 | 第97集《窗外》
2021-12-16 -
基金销售业务违规！浦发银行厦门分行等被厦门证监局责令改正
2021-12-16 -
保持稳定发展有支撑——从11月“成绩单”看中国经济走势
2021-12-16
