文心一言

10小时前更新 0 0

百度全新一代知识增强大语言模型,文心大模型

所在地:
中国
收录时间:
2025-03-25
文心一言文心一言
文心一言
广告也精彩

文心一言(英文名:ERNIE Bot)是百度全新一代知识增强大语言模型,文心大模型家族的新成员,能够与人对话互动、回答问题、协助创作,高效便捷地帮助人们获取信息、知识和灵感。

文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。

文心一言

2023年3月16日,百度新一代大语言模型文心一言正式启动邀测。
8月31日,文心一言率先向全社会全面开放。
开放首日,文心一言共计回复网友超3342万个问题。
12月28日,百度首席技术官王海峰在第十届WAVE SUMMIT深度学习开发者大会上宣布文心一言用户规模已突破1亿。
截至2024年11月12日,文心一言用户规模达到4.3亿。
截至2024年4月16日,文心一言API日均调用量也突破了2亿,服务客户数8.5万,千帆平台AI原生应用数超过了19万。
2024年9月4日,文心一言APP升级为“文小言APP”。
2025年2月,文心一言上线深度搜索功能。
4月1日起,文心一言全面免费,所有PC端和APP端用户均可体验文心系列最新模型。
2025年3月16日,文心大模型4.5和文心大模型X1正式发布!

目前,两款模型已在文心一言官网上线,免费向用户开放。

模型能力

文心一言是新一代知识增强大语言模型,能够与人对话互动、回答问题、协助创作,高效便捷地帮助人们获取信息、知识和灵感。
文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。 
五个场景综合能力
2023年3月16日文心一言新闻发布会上,百度创始人、董事长兼首席执行官李彦宏及百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。 
  • 文学创作
文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结,并提出了五个续写《三体》的建议角度,体现出对话问答、总结分析、内容创作生成的综合能力。此外,文心一言准确回答了《三体》作者、电视剧角色扮演者等事实性问题。生成式AI在回答事实性问题时常常“胡编乱造”,而文心一言延续了百度知识增强的大模型理念,大幅度提升了事实性问题的准确率。面对“于和伟和张鲁一有哪些共同点”、“于和伟和张鲁一谁更高”这类问题,文心一言也基于推理能力得出了正确答案。 
  • 商业文案创作
文心一言顺利完成了给公司起名、写Slogan、写新闻稿的创作任务。连续三次内容创作生成中,文心一言既能准确理解人类意图,又能清晰地表达,这是基于庞大数据规模而发生的“智能涌现”。 
  • 数理逻辑推算
文心一言还具备了一定的思维能力,能够学会数学推演及逻辑推理等相对复杂任务。面对“鸡兔同笼”这类锻炼人类逻辑思维的经典题,文心一言能理解题意,并有正确的解题思路,进而像学生做题一样,按正确的步骤,一步步算出正确答案。 
  • 中文理解
作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力,在中文语言和中国文化上有更好的表现。在现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”四个字创作了一首藏头诗。 
  • 多模态生成
百度创始人、董事长兼首席执行官李彦宏现场展示了文心一言生成文本、图片、音频和视频的能力。文心一言甚至能够生成四川话等方言语音。 
文心大模型 4.0
2023年10月17日百度世界大会上,文心大模型4.0正式发布。百度创始人、董事长兼首席执行官李彦宏表示,这是迄今为止最强大的文心大模型,实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上都有着显著提升,综合能力“与GPT-4相比毫不逊色”。 文心大模型4.0的理解、生成、逻辑、记忆四大能力都有显著提升,其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。
基于文心大模型4.0,百度创始人、董事长兼首席执行官李彦宏依次演示了四大能力的特点与应用场景。 [5]
在理解能力上,他通过询问公积金异地贷款政策的案例,展示了文心一言对前后乱序、模糊意图、潜台词等复杂提示词的理解力,例如“在北京工作”等同于“在北京缴纳公积金”等等,“今天,你说的每一句话,它大概率都能听懂”。
在生成能力上,李彦宏展示了文心一言如何在短短几分钟内,根据一张素材图片,迅速生成了一组广告海报、五条广告文案以及一条营销视频。据介绍,基于这一系列能力,百度已经推出了AIGC营销创意平台擎舵,让“一个人就成为一支AI营销队伍”。
同时,他还通过解数学题、总结知识点等场景,展示了大模型的逻辑能力;通过数千字的小说撰写和角色、情节设置,体现了大模型的记忆能力;以及数字人医生帮助患者解读药品说明书,来展现四大能力的综合应用。
文心大模型4.0在多个关键技术方向上进一步创新突破。在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了大模型的稳定高效训练。建设了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,充分释放数据价值,大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优,有效节省了训练资源和时间,加快了模型迭代速度。 
文心大模型4.0在输入和输出阶段都进行知识点增强。一方面,对用户输入的问题进行理解,并拆解出回答问题所需的知识点,然后在搜索引擎、知识图谱、数据库中查找准确知识,最后把这些找到的知识组装进prompt送入大模型,准确率好,效率也高。另一方面,对大模型的输出进行反思,从生成结果中拆解出知识点,然后再利用搜索引擎、知识图谱、数据库,以及大模型本身进行确认,进而对有差错的点进行修正。 
在强大的基础大模型的基础上,百度进一步研制了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,自主完成复杂任务,在环境中持续学习实现自主进化。
文心大模型 4.0 Turbo
百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在WAVE SUMMIT深度学习开发者大会2024上发布了文心大模型4.0 Turbo,网页版、APP、API陆续面向用户开放。企业用户即刻起登录百度智能云千帆大模型平台,即可使用API服务。
通过数据、基础模型、对齐技术、提示、知识增强、检索增强和对话增强等核心技术的持续创新,以及飞桨文心的联合优化,文心大模型4.0 Turbo的速度更快,效果更好。
文心大模型 4.5
文心大模型4.5是百度自主研发的新一代原生多模态基础大模型,通过多个模态联合建模实现协同优化,多模态理解能力优秀;具备更精进的语言能力,理解、生成、逻辑、记忆能力全面提升,去幻觉、逻辑推理、代码能力显著提升。
文心大模型4.5能力显著增强,离不开这些关键技术:
FlashMask动态注意力掩码:加速大模型灵活注意力掩码计算,有效提升长序列建模能力和训练效率,优化长文处理能力和多轮交互表现;
多模态异构专家扩展技术:根据模态特点构建模态异构专家,结合自适应模态感知损失函数,解决不同模态梯度不均衡问题,提升多模态融合能力;
时空维度表征压缩技术:在时空维度对图片和视频的语义表征进行高效压缩,大幅提升多模态数据训练效率,增强了从长视频中吸取世界知识的能力;
基于知识点的大规模数据构建技术:基于知识分级采样、数据压缩与融合、稀缺知识点定向合成技术,构建高知识密度预训练数据,提升模型学习效率,大幅降低模型幻觉;
基于自反馈的Post-training技术:融合多种评价方式的自反馈迭代式后训练技术,全面提升强化学习稳定性和鲁棒性,大幅提升预训练模型对齐人类意图能力。
文心大模型 X1
文心大模型X1具备更强的理解、规划、反思、进化能力,并支持多模态,是首个自主运用工具的深度思考模型。作为能力更全面的深度思考模型,文心大模型X1兼备准确、创意和文采,在中文知识问答、文学创作、文稿写作、日常对话、逻辑推理、复杂计算及工具调用等方面表现尤为出色。
文心大模型X1能力的全面提升,得益于这些关键技术的支撑:
递进式强化学习训练方法:创新性地应用递进式强化学习方法,在创作、搜索、工具调用、推理等场景全面提升模型的综合应用能力;
基于思维链和行动链的端到端训练:针对深度搜索、工具调用等场景,根据结果反馈进行端到端的模型训练,显著提升训练效果;
多元统一的奖励系统:建立了统一的奖励系统,融合多种类型的奖励机制,为模型训练提供更加鲁棒的反馈。

 

广告也精彩

数据统计

相关导航