无需标注图像,RL自我进化框架VisPlay突破视觉推理难题
![]()
在 Vision-Language Model 领域,无需提升其复杂推理能力通常依赖于耗费巨大的标注人工标注数据或启发式奖励。这不仅成本高昂,图像突破推理嘉峪关市某某制品售后客服中心且难以规模化。自进
最新研究 VisPlay 首次提出了一个自进化强化学习框架,化框使 VLM 能够仅通过海量的视觉未标注图像数据进行自我演化和能力提升。
VisPlay 将基础 VLM 分解为「提问者」和「推理者」两大角色,难题通过迭代的无需自我进化机制协同进化,并结合 GRPO 算法和创新的标注嘉峪关市某某制品售后客服中心多样性/难度奖励,平衡了问题的图像突破推理复杂度和答案的质量。
![]()
- Title:VisPlay: Self-Evolving Vision-Language Models from Images
- Paper:https://arxiv.org/abs/2511.15661
- Github:https://github.com/bruno686/VisPlay
实验证明,自进VisPlay 在 Qwen2.5-VL 和 MiMo-VL 等主流模型上实现了持续的化框性能提升,尤其在视觉推理、视觉组合泛化和幻觉减少方面效果显著,难题展示了一条可扩展、无需低成本的多模态智能进化新路径。
![]()
引言:
VLM 推理能力的「数据困境」
近年来,Vision-Language Model(VLM)在感知任务上取得了不小的进展,但在更复杂的视觉推理上仍然吃力。主流的提升方式如指令微调(SFT)或强化学习(RL)都绕不开一个核心难题:依赖高质量标注数据。尤其是强化学习,需要精准且可验证的奖励信号,而这些往往要靠耗时费力的人工标注或针对具体任务设计复杂的规则。
随着模型规模越来越大,人工标注的成本和速度已经逐渐跟不上模型演化的需求,这也成为进一步提升能力的主要瓶颈。在这样的背景下,研究者开始尝试「自进化」(Self-Evolving)的思路,让模型能通过自我生成、自我修正以及从自身经验中持续学习,从而实现自主的能力迭代。
VisPlay:
基于自我进化的自进化框架
为解决上述挑战,由来自伊利诺伊大学厄巴纳-香槟分校、华盛顿大学圣路易斯分校、马里兰大学、新加坡国立大学的研究团队提出的 VisPlay 框架,首次将自进化强化学习应用于 VLM,并实现仅依赖未标注图片进行自主学习。
VisPlay 的核心理念是自我进化(Self-Evolving):它从一个基础预训练 VLM 出发,将其在训练过程中分解成两个相互作用的角色。
Image-Conditioned Questioner(提问者)
负责根据输入的图片生成具有挑战性、但又可被回答的视觉问题。具体来说,VisPlay 设计了一种精妙的奖励机制来指导自我进化的质量,分别是难度奖励(Difficulty Reward)和多样性奖励(Diversity Reward)。
前者鼓励提问者生成更复杂的、需要深层次推理才能解决的问题;后者确保生成的问题类型和涉及的知识点足够广泛,防止模型陷入狭窄的知识或推理路径,从而实现更强大的组合泛化能力。
通过这种奖励机制,VisPlay 有效解决了自进化模型中常见的「答案质量低」和「问题重复度高」的问题,真正实现了从量变到质变的能力飞跃。
Multimodal Reasoner(推理者)
负责基于图片和提问者的问题,生成「白银级响应」(Silver Responses,即伪标注答案)。这里我们采用回答的准确性作为训练信号。
![]()
实验结果:
全方位的能力突破
研究团队将 VisPlay 应用于包括 Qwen2.5-VL 和 MiMo-VL 在内的多个主流 VLM 模型家族,并在八个主流基准数据集上进行了广泛评估,涵盖:通用视觉理解(如 MM-Vet)、跨模态推理(如 MMMU)、视觉数学推理(如 MathVerse)以及幻觉检测(HallusionBench)。
![]()
关键发现:
持续稳定的性能提升:在所有测试模型和基准上,VisPlay 都实现了一致且显著的准确率增益,证明了该框架的泛化性和有效性。
强大的组合泛化能力:模型在训练中未见过的复杂推理组合上表现出更强的鲁棒性。
有效抑制「幻觉」:VisPlay 通过自我进化生成的高质量问答对,有效帮助模型识别和修正错误的视觉-语言关联,显著减少了模型产生「幻觉」现象的概率,这是一个困扰 VLM 的重大问题。
VisPlay 的成功证明了仅依赖海量非结构化图片来持续提升 VLM 推理能力的可行性,为未来开发更智能、更自主的多模态系统指明了方向。
- ·乌总统:一定条件下可考虑在顿涅茨克设自由经济区
- ·以军称黎巴嫩真主党导弹部队负责人被打死
- ·证监会最新发布!A股惊天逆转,神秘资金疯狂加仓
- ·以军称黎巴嫩真主党导弹部队负责人被打死
- ·伊拉克总理会见巴基斯坦总统 共议合作与地区稳定
- ·英特尔或被高通收购,双方已在谈判!曾经的芯片霸主如今“卖身续命”?
- ·联合国秘书长:苏丹武装冲突实现停火是当务之急
- ·财达证券首席宣宇:美联储降息50个基点,对国内形成5大利好
- ·红外耳温计“误报”真相:久用误差微增,光学磨损才是关键
- ·公安机关严查小作文编造者!三名造谣者被罚
- ·湖南省财政厅厅长刘文杰意外去世,或涉及刑案
- ·“酱油一哥”海天味业换帅,“最牛打工人”程雪担任董事长
- ·看见2025
- ·以军称黎巴嫩真主党导弹部队负责人被打死
- ·外交部:中方将一如既往保障所有在华外国公民的安全
- ·湖南省财政厅厅长刘文杰意外去世,或涉及刑案
- ·讨论 湖人签拉文?KD重返金州?盘点各队梦想&贴切实际的交易目标
- ·“澳门制造”亮相国际分子前沿研讨会
- ·业内吐槽李庚希背后资本太急,想捧第二个周冬雨,连肖战都得抬轿
- ·在西班牙队参与比赛所罚丢的近27个点球中,25个被西班牙球员罚丢
- ·队记:湖人可能不愿意再交易拉塞尔 他现在发挥了重要作用
- ·苏东:国足中场需多跑动争取形成乱战,尽可能不让日本舒服倒脚
- ·海南省发改委、小鹏汇天达成合作,打造“飞行汽车应用示范岛”
- ·薛思佳:布莱德索回归上海男篮 他与霍金斯预计会在明天抵沪
- ·国家队前39场进球:哈兰德38球、凯恩22球、伊布18球、梅罗12球
- ·吴宗宪做副业身价超10亿,与老婆张葳葳分居,400平豪宅送给妻子
