谷歌发布史上最大“通才”AI模型,可让机器人更自主

2023年03月09日 09:10    发布者:eechina
来源:大半导体产业网

据报道,近日,谷歌和柏林工业大学的团队重磅推出了史上最大的视觉语言模型——PaLM-E。通过PaLM-540B语言模型与ViT-22B视觉Transformer模型相结合,PaLM-E参数量高达5620亿(GPT-3的参数量为1750亿)。

作为一种多模态具身视觉语言模型(VLM),PaLM-E不仅可以理解图像,还能理解、生成语言,可以执行各种复杂的机器人指令而无需重新训练。谷歌研究人员还观察到一些有趣的效果,这些效果显然来自PaLM-E的核心——大型语言模型。PaLM-E表现出了“正迁移”能力,即它可以将从一项任务中学到的知识和技能迁移到另一项任务中,从而与单任务机器人模型相比具有“显着更高的性能”。

谷歌研究人员计划探索PaLM-E在现实世界场景中的更多应用,例如家庭自动化或工业机器人。他们希望PaLM-E能够激发更多关于多模态推理和具身AI的研究。