清华唐杰新作WebGLM：参数100亿、主打联网搜索，性能超OpenAI WebGPT 当前最新

2023-06-24 13:57:41 中关村金融科技产业发展联盟

(相关资料图)

清华唐杰团队的新作来了： WebGLM，一个参数100亿的联网问答聊天机器人（论文入选KDD2023）。你可以问它任何问题，然后它将列举出网上（例如维基百科、相关官网）相关的文章链接，整理出答案。比如：

ChatGPT的核心技术是什么？

或者:

谁提出的Music Transformer？它的原理是什么？

再或者：

原神3.5版本怎么样？

没有高薪工作，怎么在一线城市生活？（手动狗头）

…… 它都能给出有理有据的回答。据介绍，在性能对比测试中，WebGLM的水平已经高于OpenAI135亿参数的WebGPT，在人类评估中，甚至与1750亿参数的模型不相上下。那么，它是如何训练的？

可以上网的清华系WebGLM

据介绍，WebGLM的目标是通过Web搜索和检索功能，增强预训练大语言模型，同时可以进行高效的实际部署。为此，作者基于三种策略进行开发。首先是大模型增强检索器。它主要是用于增强模型相关网络内容的检索能力，在给定查询的情况下查找相关引用，以便后面更好地准确回答问题。它有两个阶段：粗粒度web搜索和细粒度LLM增强密集检索。其次是自举生成器。它利用GLM（比如清华之前发布的双语开源预训练模型GLM-130B）的能力为问题生成回复，提供详细的答案。利用该生成器，作者得到WebGLM-QA——一个LLM自举引用和长程的QA数据集。它通过上下文学习等策略进行清洗和过滤，最终包括45k的高质量过滤样本和83k的噪声样本。 WebGLM的backbone就是一个在该数据集上训练的GLM模型。最后是基于人类偏好的打分器。它通过优先考虑人类偏好而非昂贵的专家反馈来评估生成回复的质量，确保系统能够产生有用和吸引人的内容。以上三大组件最终按顺序形成WebGLM的pipeline：可以看到，正好三个模块，对应前面介绍的三部分，其中： LLM增强检索器会将前五个最相关的页面作为参考源，让自举生成器生成多个答案，最终打分器选出最可能符合人类偏好的那一个作为最终输出。

性能超OpenAI WebGPT

除了WebGLM本身，唐杰团队此次还提出了一个网络增强问答系统的评估标准，评估对象既包括参考文献，也包括最终回答。其中前者衡量相关性、信息密度、真实性（无事实错误）、毒性（不含暴力色情等信息）和社会偏见程度这5个维度；后者则衡量流畅度、正确性、引用准确性、客观性和冗余程度。他们用WebGPT（来自OpenAI，基于GPT-3进行微调）演示网站提供的272个问题进行对比评估，并招募了15个学历为硕士的志愿者打分。最终结果如下：（“Rel.”、“ Den.”……分别对应上面说的10个指标。）可以看到，尽管WebGLM的搜索结果略逊于WebGPT-175B，但远好于Perplexity.ai和WebGPT-13B（左边的参考文献评估）。值得一提的是，WebGLM检索过程只使用了一些传统的基于单词的算法和两个累计参数量不超过300M的Contriever。此外，WebGLM在计算性能和时间消耗方面也明显优于WebGPT-13B、并与175B不相上下。而在最终结果方面，WebGLM在流畅度、真实性和冗余度方面均获得最高得分，正确性指标上则接近WebGPT-175B，远高于Perplexity.ai和WebGPT-13B。作者表示，这表明WebGLM可以以更低的成本获得更高的性能。

部署与训练

WebGLM发布即开源。要想部署它，需要从SerpAPI官网获得一个密钥，用于在搜索过程中获取搜索结果。检索器的权重可从清华云上下载。运行该模型的方式有两种：一是命令行界面，二是Web服务形式，并且包含WebGLM-2B和WebGLM-10B两种可选模型。你也可以自己训练WebGLM，官方已提供好了生成器和检索器的训练数据供下载～

论文地址：https://arxiv.org/abs//2306.07906

GitHub主页：https://github.com/THUDM/WebGLM

来源：凹非寺，作者：丰色声明：此公号（ID：czfida）发布内容和图片的目的在于传播更多信息，版权归原作者所有，不为商业用途，如有侵犯，敬请作者与我们联系。

第七届金融科技与金融安全峰会

暨2023“光大杯”中关村番钛客金融科技国际创新大赛金融安全专场

将于2023年7月在北京隆重举办！

报名参会

大会咨询与合作请联系

吴老师18611627096（同微信）

共赴金融科技嘉年华

-2023“光大杯”中关村番钛客金融科技国际创新大赛-火热报名中-2023中国金融科技竞争力百强征集-全面启动

关键词 :

上一篇 : 生化危机启示录幽灵船萌新抱大腿攻略

下一篇 : 最后一页

资讯

清华唐杰新作WebGLM：参数100亿、主打联网搜索，性能超OpenAI WebGPT 当前最新

清华唐杰团队的新作来了：WebGLM，一个参数100亿的联网问答聊天机器人

中关村金融科技产业发展联盟 06-24 13:57:41

清华唐杰新作WebGLM：参数100亿、主打联网搜索，性能超OpenAI WebGPT 当前最新

清华唐杰团队的新作来了：WebGLM，一个参数100亿的联网问答聊天机器人

中关村金融科技产业发展联盟 06-24 13:57:41

天天实时：北方此轮高温天气还将持续，这份防暑指南助你熬过高温“持久战”

北方高温自6月20日发展以来，气温迅速攀高，北京、天津、河北、山东等

中国天气网 06-24 13:42:06

天天实时：北方此轮高温天气还将持续，这份防暑指南助你熬过高温“持久战”

北方高温自6月20日发展以来，气温迅速攀高，北京、天津、河北、山东等

中国天气网 06-24 13:42:06

俄各部门全天候向普京汇报，莫斯科已加强安保精选

据俄媒23日报道，俄罗斯瓦格纳雇佣兵公司负责人普里戈任当天在社交媒体

光明网 06-24 13:50:25

俄各部门全天候向普京汇报，莫斯科已加强安保精选

据俄媒23日报道，俄罗斯瓦格纳雇佣兵公司负责人普里戈任当天在社交媒体

光明网 06-24 13:50:25

世界看点：孙继海：7月将与老国脚带U10队在遵义比赛，扎根青训照亮未来

直播吧6月24日讯中国足坛名宿孙继海通过个人微博透露，7月24日，自己将

互联网 06-24 13:07:04

世界看点：孙继海：7月将与老国脚带U10队在遵义比赛，扎根青训照亮未来

直播吧6月24日讯中国足坛名宿孙继海通过个人微博透露，7月24日，自己将

互联网 06-24 13:07:04

生化危机启示录幽灵船萌新抱大腿攻略

前言幽灵船萌新抱大腿图文攻略，适用所有平台。注意事项1 幽灵船跟幽灵

哔哩哔哩 06-24 13:04:59

生化危机启示录幽灵船萌新抱大腿攻略

前言幽灵船萌新抱大腿图文攻略，适用所有平台。注意事项1 幽灵船跟幽灵

哔哩哔哩 06-24 13:04:59

2023年安徽省普通高校招生志愿填报时间安排及注意事项|当前通讯

一、志愿填报时间安排　　二、考生填报志愿时需要注意的事项　　（一）

安徽省教育招生考试院 06-24 12:44:10

2023年安徽省普通高校招生志愿填报时间安排及注意事项|当前通讯

一、志愿填报时间安排　　二、考生填报志愿时需要注意的事项　　（一）

安徽省教育招生考试院 06-24 12:44:10

2023济宁市教育局中考成绩查询入口官网

济宁市教育局中考成绩查询入口查询方式一：登录济宁市教育局网站（http

本地宝 06-24 12:38:34

2023济宁市教育局中考成绩查询入口官网

济宁市教育局中考成绩查询入口查询方式一：登录济宁市教育局网站（http

本地宝 06-24 12:38:34

全球热门:排堵保畅、加强巡查，徐汇警方送上节日“平安粽”

2023年端午小长假来临，徐汇警方持续启动高等级勤务，切实提升街面见警

文汇 06-24 12:21:50

全球热门:排堵保畅、加强巡查，徐汇警方送上节日“平安粽”

2023年端午小长假来临，徐汇警方持续启动高等级勤务，切实提升街面见警

文汇 06-24 12:21:50

浙江电视台公共新农村频道节目表_浙江电视台公共新农村频道

1、11个电视频道：浙江卫视、钱江都市、经济生活、教育科技、影视娱乐

互联网 06-24 12:08:52

浙江电视台公共新农村频道节目表_浙江电视台公共新农村频道

1、11个电视频道：浙江卫视、钱江都市、经济生活、教育科技、影视娱乐

互联网 06-24 12:08:52

世界短讯！神圣传说黄金之光辉、诸神之冥想

1、《神圣传说（黄金之光辉、诸神之冥想）》是上海人民美术出版社出版

互联网 06-24 12:07:35

世界短讯！神圣传说黄金之光辉、诸神之冥想

1、《神圣传说（黄金之光辉、诸神之冥想）》是上海人民美术出版社出版

互联网 06-24 12:07:35

世界观速讯丨38名伤亡人员全部核定身份！多地紧急通知，立即排查→

6月23日，新华社记者从相关部门获悉，宁夏银川烧烤店燃气爆炸事故38名

天眼新闻 06-24 11:37:14

世界观速讯丨38名伤亡人员全部核定身份！多地紧急通知，立即排查→

6月23日，新华社记者从相关部门获悉，宁夏银川烧烤店燃气爆炸事故38名

天眼新闻 06-24 11:37:14

不花一分钱！一个软件让你看遍全网付费资源，爽爆了-每日热议

今天小雷就给大家带来了一个纯净的工具，双端可用，海量优质源，没有广

雷科技 06-24 11:42:59

不花一分钱！一个软件让你看遍全网付费资源，爽爆了-每日热议

今天小雷就给大家带来了一个纯净的工具，双端可用，海量优质源，没有广

雷科技 06-24 11:42:59

【天天快播报】民宿管家、外卖运营师……这些新职业扩宽就业空间

就业要稳存量，还要扩增量。当前很多新业态新职业的出现，为大学生就业

央视财经 06-24 11:48:29

【天天快播报】民宿管家、外卖运营师……这些新职业扩宽就业空间

就业要稳存量，还要扩增量。当前很多新业态新职业的出现，为大学生就业

央视财经 06-24 11:48:29

国家统计局：6月中旬26种产品价格上涨生猪（外三元）价格环比持平_环球快消息

央视网消息：据国家统计局网站消息，据对全国流通领域9大类50种重要生

扬子晚报 06-24 11:34:15

国家统计局：6月中旬26种产品价格上涨生猪（外三元）价格环比持平_环球快消息

央视网消息：据国家统计局网站消息，据对全国流通领域9大类50种重要生

扬子晚报 06-24 11:34:15

古老运动“火出圈” 龙舟也有“冷知识”

央视网消息：赛龙舟作为我国端午节的传统习俗之一，已经被列入国家级非

杭州网 06-24 11:21:06

古老运动“火出圈” 龙舟也有“冷知识”

央视网消息：赛龙舟作为我国端午节的传统习俗之一，已经被列入国家级非

杭州网 06-24 11:21:06

51＋31，这些相城学子获表彰！

近日苏州市教育局发布了关于表彰2023年苏州市三好学生、优秀学生干部的

今日相城 06-24 11:06:10

51＋31，这些相城学子获表彰！

近日苏州市教育局发布了关于表彰2023年苏州市三好学生、优秀学生干部的

今日相城 06-24 11:06:10

免费、打折！一大批景区暑期限时优惠！这些证很有用世界热头条

央视新闻美丽西湖临安发布淳安发布刚结束今年中、高考的同学们请注意，

北京日报 06-24 10:49:08

免费、打折！一大批景区暑期限时优惠！这些证很有用世界热头条

央视新闻美丽西湖临安发布淳安发布刚结束今年中、高考的同学们请注意，

北京日报 06-24 10:49:08

蓝色协议传送点位介绍

蓝色协议游戏中玩家想要快速赶路就只能使用传送进行赶路，因为游戏中的

九游网 06-24 10:48:13

蓝色协议传送点位介绍

蓝色协议游戏中玩家想要快速赶路就只能使用传送进行赶路，因为游戏中的

九游网 06-24 10:48:13

斯玛特发文向波士顿告别：虽未拿到第18冠但无比骄傲报道

马库斯-斯玛特发文向凯尔特人告别：“我该从哪开始呢？当我回首过去9年

手机网易网 06-24 10:44:57

斯玛特发文向波士顿告别：虽未拿到第18冠但无比骄傲报道

马库斯-斯玛特发文向凯尔特人告别：“我该从哪开始呢？当我回首过去9年

手机网易网 06-24 10:44:57

高开高走！朱一龙倪妮《消失的她》上映2天累计票房近4亿

《消失的她》海报搜狐娱乐讯（哈麦文）朱一龙、倪妮主演的悬疑片《消

东方资讯 06-24 10:18:30

高开高走！朱一龙倪妮《消失的她》上映2天累计票房近4亿

《消失的她》海报搜狐娱乐讯（哈麦文）朱一龙、倪妮主演的悬疑片《消

东方资讯 06-24 10:18:30

产经

2023年安徽省普通高校招生志愿填报时间安排及注意事项|当前通讯: 安徽省教育招生考试院

【天天快播报】民宿管家、外卖运营师……这些新职业扩宽就业空间: 央视财经

国家统计局：6月中旬26种产品价格上涨生猪（外三元）价格环比持平_环球快消息: 扬子晚报

通讯！国内首家无人机培训和试飞基地落户芜湖: 安徽商报

分析人士：军工复合体持续运转美国进一步拱火俄乌冲突: 央视新闻客户端

国际

数据

键盘下划线怎么打？下划线快捷键是哪个？

按下shift按键先找到并按下你的电脑键丽珠盘上面的shift按键，切换到英文输入法状态。键盘下划线怎么打?...

word中下划线上怎么打字？下划线怎么固定不随字走？

word中_________上打字的方法如下：1、进入word2010，在要设置下划线的位置输入空格，然后选中空格，点...

word横线上打字横线往后移怎么办？word横线上打字怎么居中？

word横线上打字横线往后移怎么办?选中横线跑的文字，找到输入文字后横线跑的那几个文字，选中文字。查看...

大熊猫的天敌是什么？大熊猫的战斗力到底有多强？

大熊猫有天敌吗?答案是肯定的。野生大熊猫最大的天敌就是豺，确切的说是四川豺。四川豺主要分布在我国的...

充电桩安装需要什么条件？安装充电桩需要什么手续？

充电桩安装需要什么条件?1、运营充电桩需要电动车使用人数多，小区充电使用率到达一定程度，如果使用率...