Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(相关资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词 :
上一篇 : 视频|让安全的警钟在心中长鸣！消防进学校开展应急疏散逃生和地震避险演练_全球微头条
下一篇 : 最后一页
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
程序员客栈 05-10 22:42:33
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
程序员客栈 05-10 22:42:33
1、克霉唑乳膏的作用主要用于治疗霉菌性阴道炎，杀灭真菌，减少感染，改善阴部瘙痒、白带增多、发黄、有异
互联网 05-10 22:09:12
1、克霉唑乳膏的作用主要用于治疗霉菌性阴道炎，杀灭真菌，减少感染，改善阴部瘙痒、白带增多、发黄、有异
互联网 05-10 22:09:12
扬子晚报网5月10日讯（通讯员苏欣徐诚记者陈勇）在第15个全国防灾减灾日来临之际，5月10日，江苏省连云港市
扬子晚报 05-10 21:42:18
扬子晚报网5月10日讯（通讯员苏欣徐诚记者陈勇）在第15个全国防灾减灾日来临之际，5月10日，江苏省连云港市
扬子晚报 05-10 21:42:18
近日，墨西哥总统洛佩斯公开了他于5月2日写给美国总统拜登的信函。他在信中指出，美国涉嫌向公开反对墨西哥
央视新闻客户端 05-10 21:33:38
近日，墨西哥总统洛佩斯公开了他于5月2日写给美国总统拜登的信函。他在信中指出，美国涉嫌向公开反对墨西哥
央视新闻客户端 05-10 21:33:38
掘金今天回到主场，以118-102战胜太阳，赢下天王山之战，大比分3-2领先，已经拿到半决赛的赛点。值得一提的
无术不学 05-10 21:18:04
掘金今天回到主场，以118-102战胜太阳，赢下天王山之战，大比分3-2领先，已经拿到半决赛的赛点。值得一提的
无术不学 05-10 21:18:04
老辛格一个打扫着厂房，他有一个好习惯，用完的工具都会放归原位，整整齐齐地排放架子上，犹如阅兵的方阵。
哔哩哔哩 05-10 21:04:27
老辛格一个打扫着厂房，他有一个好习惯，用完的工具都会放归原位，整整齐齐地排放架子上，犹如阅兵的方阵。
哔哩哔哩 05-10 21:04:27
【首例介入式脑机接口试验成功，为脑卒中等疾病诊疗提供新方向】据人民日报健康，5月4日，全球首例非人灵长
亚汇网 05-10 20:28:45
【首例介入式脑机接口试验成功，为脑卒中等疾病诊疗提供新方向】据人民日报健康，5月4日，全球首例非人灵长
亚汇网 05-10 20:28:45
5月10日，2023爱奇艺世界·大会在北京举办。本次爱奇艺发布了超270部片单，覆盖剧集、综艺、电影、纪录片等
钱江晚报 05-10 20:28:18
5月10日，2023爱奇艺世界·大会在北京举办。本次爱奇艺发布了超270部片单，覆盖剧集、综艺、电影、纪录片等
钱江晚报 05-10 20:28:18
中文在线近期在接受调研时表示，公司在开源AI语言模型技术基础上，利用公司在文学领域的语料数据，研发和训
界面新闻 05-10 19:54:45
中文在线近期在接受调研时表示，公司在开源AI语言模型技术基础上，利用公司在文学领域的语料数据，研发和训
界面新闻 05-10 19:54:45
首例介入式脑机接口试验成功，为脑卒中等疾病诊疗提供新方向：据媒体健康，5月4日，全球首例非人灵长类动物
和讯刘海美 05-10 19:28:50
首例介入式脑机接口试验成功，为脑卒中等疾病诊疗提供新方向：据媒体健康，5月4日，全球首例非人灵长类动物
和讯刘海美 05-10 19:28:50
可以通过诉讼方式讨回。依据《劳动争议调解仲裁法》第五十条，当事人对发生法律效力的调解书、裁决书，应当
法师兄 05-10 19:12:50
可以通过诉讼方式讨回。依据《劳动争议调解仲裁法》第五十条，当事人对发生法律效力的调解书、裁决书，应当
法师兄 05-10 19:12:50
1、最美的伤口半吨兄弟最美的伤口-半吨兄弟词：肖遥曲：肖遥 DJ小鱼儿你要走的时候我明明想挽留却像个提线
互联网 05-10 18:49:47
1、最美的伤口半吨兄弟最美的伤口-半吨兄弟词：肖遥曲：肖遥 DJ小鱼儿你要走的时候我明明想挽留却像个提线
互联网 05-10 18:49:47
1、办公座位不能直冲大门，由于大门为整个办公室的气流和能量出入口，座位正对着大门，会被入门的气场冲到
互联网 05-10 18:37:47
1、办公座位不能直冲大门，由于大门为整个办公室的气流和能量出入口，座位正对着大门，会被入门的气场冲到
互联网 05-10 18:37:47
一、单位扣押员工工资一个月是否合法扣押员工工资一个月是不合法。劳动者造成用人单位经济损失，用人单位可
法务网 05-10 18:32:27
一、单位扣押员工工资一个月是否合法扣押员工工资一个月是不合法。劳动者造成用人单位经济损失，用人单位可
法务网 05-10 18:32:27
一、便利店行业概况便利店的兴起，是人们消费习惯改变和消费需求日益提高的反映。作为新零售概念下的重要渠
互联网 05-10 18:24:37
一、便利店行业概况便利店的兴起，是人们消费习惯改变和消费需求日益提高的反映。作为新零售概念下的重要渠
互联网 05-10 18:24:37
木浆是以木材为原料制成的纸浆。根据制浆材料，制浆方法以及纸浆用途等来分类，如硫酸盐针叶木浆，机械木浆
互联网 05-10 18:16:42
木浆是以木材为原料制成的纸浆。根据制浆材料，制浆方法以及纸浆用途等来分类，如硫酸盐针叶木浆，机械木浆
互联网 05-10 18:16:42
国家电子政务专家委员会主任王钦敏说，我国电子政务排名持续提升，进入全球第一梯队，我国电子政务发展逐渐
新浪 05-10 18:20:47
国家电子政务专家委员会主任王钦敏说，我国电子政务排名持续提升，进入全球第一梯队，我国电子政务发展逐渐
新浪 05-10 18:20:47
我国美白产品已从早期运用遮盖、剥脱等强力手段的粗放型发展阶段过渡到科学化、精细化的协同美白阶段。精细
中研普华集团、央视财经、中研网 05-10 18:22:16
我国美白产品已从早期运用遮盖、剥脱等强力手段的粗放型发展阶段过渡到科学化、精细化的协同美白阶段。精细
中研普华集团、央视财经、中研网 05-10 18:22:16
一、水泵的概念水泵是输送液体或使液体增压的机械。它将原动机的机械能或其他外部能量传送给液体，使液体能
互联网 05-10 18:08:40
一、水泵的概念水泵是输送液体或使液体增压的机械。它将原动机的机械能或其他外部能量传送给液体，使液体能
互联网 05-10 18:08:40
手机屏蔽罩是指用屏蔽体将元部件，电路，组合件，电缆或整个系统的干扰源包围起来，防止干扰电磁场向外扩散
湾测技术 05-10 18:02:33
手机屏蔽罩是指用屏蔽体将元部件，电路，组合件，电缆或整个系统的干扰源包围起来，防止干扰电磁场向外扩散
湾测技术 05-10 18:02:33
按下shift按键先找到并按下你的电脑键丽珠盘上面的shift按键，切换到英文输入法状态。键盘下划线怎么打?...
word中_________上打字的方法如下：1、进入word2010，在要设置下划线的位置输入空格，然后选中空格，点...
word横线上打字横线往后移怎么办?选中横线跑的文字，找到输入文字后横线跑的那几个文字，选中文字。查看...
大熊猫有天敌吗?答案是肯定的。野生大熊猫最大的天敌就是豺，确切的说是四川豺。四川豺主要分布在我国的...
充电桩安装需要什么条件?1、运营充电桩需要电动车使用人数多，小区充电使用率到达一定程度，如果使用率...
联系我们:55 16 53 8@qq.com
关于我们| 联系方式| 版权声明| 供稿服务| 友情链接
经济头条 版权所有，未经书面授权禁止使用
Copyright©2008-2020 By www.jingji.net All Rights Reserved
营业执照公示信息