AIHOT
内容
精选全部 AI 动态AI 日报主题收藏
接入
Agent 接入
更多
关于更新日志反馈
内部员工登录
精选全部日报更多
内部员工登录
全部动态
全部一手资讯X论文
标签「多模态」清除
4月17日周五
23:55HuggingFace Daily Papers(社区热门论文)超越提示:面向分布外形状的无条件3D反演
20:34公众号:阶跃星辰(Step)43坐进极氪8X,感受阶跃大模型
18:53HuggingFace Daily Papers(社区热门论文)RadAgent:用于逐步解读胸部CT的工具使用型AI智能体
16:53HuggingFace Daily Papers(社区热门论文)Switch-KD:面向视觉-语言模型的视觉切换知识蒸馏
16:48蚂蚁 inclusionAI:GitHub 新仓库56精选inclusionAI发布LLaDA2.0-Uni模型
10:58karminski-牙医AI游戏开发框架harness:自动生成内容并沙盒自验证
10:53HuggingFace Daily Papers(社区热门论文)MM-WebAgent:用于网页生成的分层多模态网页代理
08:00HuggingFace Daily Papers(社区热门论文)C-GenReg:通过多视图一致的几何到图像生成与概率模态融合实现无需训练的3D点云配准
08:00HuggingFace Daily Papers(社区热门论文)Mind's Eye:多模态 LLM 视觉抽象、转换与组合基准测试
08:00HuggingFace Daily Papers(社区热门论文)面向视频到语音生成的分层编解码器扩散模型
08:00HuggingFace Daily Papers(社区热门论文)重新利用3D生成模型进行自回归布局生成
02:50Google Gemini这场活动即将开始!在此加入 Gemini Discord:http://discord.gg/gemini 【引用 @GeminiApp】:准备好充分利用 Gemini 中的笔记本了吗? 加入 @GoogleDeepMind 产品经理 Rebecca Zapfel 的直播演示,了解如何掌握多模态上下文、持久记忆、项目组织,以及如何使用 @NotebookLM 笔记本作为来源。随后将进行实时问答。 📅 本周四,4 月 16 日上午 11:30(太平洋时间) 👉还没加入我们的 Discord?在此加入:http://discord.gg/gemini
00:08AK39几何上下文转换器实现流式3D重建
4月16日周四
22:51The Decoder:AI News(RSS)字节跳动向 100 多个国家推出 Seedance 2.0,但将美国排除在外
21:49HuggingFace Daily Papers(社区热门论文)面向流式3D重建的几何上下文Transformer
11:47HuggingFace Daily Papers(社区热门论文)MERRIN:嘈杂网络环境中的多模态证据检索与推理基准
10:47HuggingFace Daily Papers(社区热门论文)ROSE:面向检索的分割增强
10:47HuggingFace Daily Papers(社区热门论文)UI-Zoomer:面向 GUI Grounding 的不确定性驱动自适应放大方法
10:30公众号:腾讯混元53腾讯混元3D世界模型2.0发布:无缝对接游戏工作流
08:00HuggingFace Daily Papers(社区热门论文)49RE-Edit:面向推理感知图像编辑的多维度基准测试
08:00HuggingFace Daily Papers(社区热门论文)WavAlign:通过自适应混合后训练增强语音对话模型的智能与表现力
08:00HuggingFace Daily Papers(社区热门论文)面向高效视觉推理的自适应推理路径学习
07:46TestingCatalog News 🗞43谷歌Gemini桌面应用将支持实时对话功能
02:43Google Gemini准备好充分利用 Gemini 中的笔记本了吗? 加入 @GoogleDeepMind 产品经理 Rebecca Zapfel 的直播演示,掌握多模态上下文、持久记忆、项目组织,以及如何使用 @NotebookLM notebooks 作为来源。随后是现场问答。 📅 本周四,4月16日,11:30 AM PT 👉还没加入我们的 Discord?在此加入:http://discord.gg/gemini
01:47HuggingFace Daily Papers(社区热门论文)面向通用人形机器人操作的触觉梦境学习
01:37AK49OCR模型对多语种文字识别仍存挑战
00:07AK55英伟达发布Lyra 2.0生成式3D世界模型
4月15日周三
23:46HuggingFace Daily Papers(社区热门论文)GlotOCR Bench:OCR 模型仍难以应对少数之外的 Unicode 文字
16:51HuggingFace Daily Papers(社区热门论文)SpotSound:通过细粒度时间定位增强大型音频语言模型
11:41DogeDesignerGrok 现在支持一次上传最多 100 个文件。 今天我在一个聊天中上传了多张图片,并让 Grok 一起分析它们。它在几秒钟内处理完所有内容,并准备了一份详细的报告。 批量分析的一个超实用功能。
01:36DogeDesignerNEWS: SpaceX 正在使用由 Grok 提供支持的语音 AI 助手来处理 Starlink 客户支持电话。该声音听起来完全像人类,可以实时与用户对话。 "Grok 在 SpaceX 和 Tesla 已经表现得相当出色。我们看到 Grok 在客户服务等事务中非常有帮助,而且 AI 拥有无限的耐心,所以你可以对它大喊大叫,它仍然会非常有礼貌。"
00:03AK38OmniShow统一多模态条件生成人机交互视频
4月14日周二
23:58HuggingFace Daily Papers(社区热门论文)全景成对失真图
22:03TestingCatalog News 🗞NotebookLM 将会变得超强 👀 > Google 正在为 NotebookLM 开发新的 Canvas 体验和 Connectors 支持。 > Canvas 模式让用户能够从笔记本来源生成任何数据的可视化呈现。 > 最近设置菜单中新增了一个 Connectors 选项(目前隐藏)。 > 看起来在 Google I/O 上,我们将看到支持 Canvas、Connectors 和 Personal intelligence 的新版 NotebookLM。
20:11HuggingFace Daily Papers(社区热门论文)移动GUI智能体隐私个性化:基于轨迹诱导偏好优化
18:05公众号:生数科技(Vidu·视频)45生数科技与阿里云达成战略合作,共建"云+AI"全栈生态,加速多模态大模型与世界模型产业落地
09:32AK47Matrix-Game 3.0发布实时流式交互世界模型
08:00HuggingFace Daily Papers(社区热门论文)具体性驱动的对比负样本挖掘用于组合理解
08:00HuggingFace Daily Papers(社区热门论文)以自监督引导增强视觉指令微调
08:00HuggingFace Daily Papers(社区热门论文)Grid2Matrix:揭示视觉语言模型中的数字失认症
全部 AI 动态
AI 相关资讯全量信息流
全部一手信源资讯推文
全部模型产品行业论文技巧
4月17日
23:55
HuggingFace Daily Papers(社区热门论文)
超越提示:面向分布外形状的无条件3D反演

当前最先进的文本到3D生成模型存在"潜在汇点陷阱":模型在特定区域对文本提示修改不敏感,导致无法通过改变输入文本来调整输出几何。这并非几何表达能力不足,而是对分布外文本指导的敏感性缺失。研究提出利用模型无条件生成先验,将几何表示与语言敏感性解耦以绕过该陷阱,实现了对分布外3D形状的高保真语义编辑,突破了现有3D流水线的局限性。

arXiv图像生成多模态论文/研究
20:34
公众号:阶跃星辰(Step)
43
坐进极氪8X,感受阶跃大模型

阶跃 Step 3.5 Flash 大规模上车极氪8X,深度集成该模型的整车智能体超级 Eva 随车量产上市。超级 Eva 融合阶跃三款大模型:Step 3.5 Flash 作为核心大脑,提供模糊指令理解与多步骤任务规划;语音大模型带来低延迟、更自然的交互;视觉理解模型可感知车外环境并决策,如判断路况、找车位。即日起用户可在极氪8X驾驶场景中体验。未来超级 Eva 将覆盖更多车型。

多模态端侧行业动态
18:53
HuggingFace Daily Papers(社区热门论文)
RadAgent:用于逐步解读胸部CT的工具使用型AI智能体

研究团队推出RadAgent,一款用于胸部CT解读的工具使用型AI智能体。该系统通过逐步推理生成报告,提供可审查的决策轨迹与工具交互记录。相比3D VLM基线CT-Chat,其临床准确性macro-F1提升6.0分(36.4%)、micro-F1提升5.4分(19.6%),对抗鲁棒性提升24.7分(41.9%),并首次实现37.0%的忠实度指标,显著提升了放射学AI的透明度与可靠性。

智能体arXiv多模态论文/研究
16:53
HuggingFace Daily Papers(社区热门论文)
Switch-KD:面向视觉-语言模型的视觉切换知识蒸馏

研究团队提出 Switch-KD 视觉切换知识蒸馏框架,通过将学生模型的视觉输出接入教师模型的语言路径,在共享文本概率空间中实现跨模态知识迁移。该方法包含动态双向 Logits 差分损失函数,可自适应对齐关键概率区域并保持分布结构。实验表明,0.5B 参数的 TinyLLaVA 在无需修改架构的情况下,从 3B 教师模型蒸馏知识后,在 10 个多模态基准测试中平均性能提升 3.6 个百分点。

多模态数据/训练论文/研究
16:48
蚂蚁 inclusionAI:GitHub 新仓库
精选56
inclusionAI发布LLaDA2.0-Uni模型

LLaDA2.0-Uni是一个统一的多模态模型,具备对世界的理解与生成能力。该模型通过整合视觉、语言等多模态信息,实现了跨模态的语义理解和内容生成。其架构支持从图像理解到文本生成、跨模态检索等复杂任务,标志着多模态人工智能向更通用、统一的方向演进。

多模态开源生态模型发布

推荐理由:蚂蚁 inclusionAI 推出 LLaDA2.0-Uni,主打理解与生成统一架构,但距发布已过两周且信息极少,建议等官方技术报告出来再决定是否跟进。
10:58
karminski-牙医@karminski3
AI游戏开发框架harness:自动生成内容并沙盒自验证

harness框架通过AI Agent实现游戏内容全自动生成与验证。该系统基于SCP数据库扩展关卡,自动生成物品与任务道具,并集成AI绘图与TTS配音管线。核心创新在于内置沙盒环境(无头游戏模式),允许AI在命令行中自动验证关卡可玩性,根据约束条件修正数值。开发者强调,框架目前解决的是工程层面的"可玩性",而创意层面的"好玩性"仍需人工把控。项目后续将开源。

智能体多模态开源/仓库
10:53
HuggingFace Daily Papers(社区热门论文)
MM-WebAgent:用于网页生成的分层多模态网页代理

MM-WebAgent 是一个面向多模态网页生成的分层代理框架,通过分层规划与迭代自我反思协调 AIGC 元素生成,解决直接集成 AIGC 工具导致的风格不一致与全局连贯性问题。该框架联合优化全局布局、局部多模态内容及其集成,并配套推出多模态网页生成基准与多级评估协议。实验表明,MM-WebAgent 在多模态元素生成与集成方面优于代码生成及代理基线方法。

智能体多模态论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
C-GenReg:通过多视图一致的几何到图像生成与概率模态融合实现无需训练的3D点云配准

C-GenReg是一种无需训练的3D点云配准框架,利用世界基础模型将输入几何转换为多视图一致的RGB图像,借助视觉基础模型(VFM)在图像域提取密集对应关系,再通过深度图映射回3D空间。该方法采用"Match-then-Fuse"概率冷融合策略,将生成RGB分支与原始几何分支的对应后验进行融合,无需额外学习即可提供校准置信度。作为零样本即插即用方案,C-GenReg所有模块均无需微调,在室内3DMatch、ScanNet及室外Waymo基准测试中展现出卓越的跨域泛化能力,并首次在真实室外LiDAR数据上实现生成式配准。

图像生成多模态论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
Mind's Eye:多模态 LLM 视觉抽象、转换与组合基准测试

研究团队发布"Mind's Eye"基准测试,涵盖8项视觉认知任务,依据"抽象-关系-转换"(A-R-T)分类体系评估多模态大语言模型的流体推理能力。结果显示,人类参与者准确率达80%,而顶尖模型不足50%。错误分析揭示,现有模型在视觉注意力分配、内部感知操作和底层概念抽象方面存在明显缺陷,表明当前多模态大语言模型的视觉空间推理能力仍显著落后于人类水平。

多模态推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
面向视频到语音生成的分层编解码器扩散模型

研究团队提出分层编解码器扩散Transformer模型 HiCoDiT,利用 RVQ 编解码器的分层结构解决现有视频到语音生成方法忽视语音层级特性的问题。该方法通过低级块基于唇形同步运动与面部身份建模说话人感知语义,高级块利用面部表情调节细粒度韵律动态,并引入双尺度自适应实例层归一化实现从粗到细的条件控制。实验表明,该模型在语音保真度和表现力上显著优于基线方法,代码与演示已开源。

多模态论文/研究语音
08:00
HuggingFace Daily Papers(社区热门论文)
重新利用3D生成模型进行自回归布局生成

研究团队推出LaviGen框架,将3D生成模型重新用于3D布局生成。该方法突破传统文本推断模式,直接在原生3D空间通过自回归过程显式建模物体几何关系与物理约束,生成连贯且符合物理规律的3D场景。团队还提出融合场景、物体与指令信息的改进版3D扩散模型,并采用双引导自推出蒸馏机制提升效率与空间精度。在LayoutVLM基准测试中,LaviGen的物理合理性较现有最优方法提升19%,计算速度加快65%。

arXiv多模态论文/研究
02:50
Google Gemini@GeminiApp
这场活动即将开始!在此加入 Gemini Discord:http://discord.gg/gemini 【引用 @GeminiApp】:准备好充分利用 Gemini 中的笔记本了吗? 加入 @GoogleDeepMind 产品经理 Rebecca Zapfel 的直播演示,了解如何掌握多模态上下文、持久记忆、项目组织,以及如何使用 @NotebookLM 笔记本作为来源。随后将进行实时问答。 📅 本周四,4 月 16 日上午 11:30(太平洋时间) 👉还没加入我们的 Discord?在此加入:http://discord.gg/gemini

Google Gemini: Ready to make the most of notebooks in Gemini? Join @GoogleDeepMind Product Manager, Rebecca Zapfel, for a live demo on ...

DeepMindGoogle检索增强产品更新
00:08
AK@_akhaliq
39
用于流式3D重建的几何上下文Transformer paper: https://huggingface.co/papers/2604.14141
具身智能多模态论文/研究
4月16日
22:51
The Decoder:AI News(RSS)
字节跳动向 100 多个国家推出 Seedance 2.0,但将美国排除在外

字节跳动将其 AI 视频生成模型 Seedance 2.0 推向全球 100 多个国家,但美国不在此次发布范围内。这一排除可能源于该公司与好莱坞制片厂之间持续的版权纠纷。此次国际扩张标志着字节跳动在 AI 视频生成领域的全球布局取得进展,尽管其在美国市场仍面临法律障碍。

多模态模型发布视频
21:49
HuggingFace Daily Papers(社区热门论文)
面向流式3D重建的几何上下文Transformer

研究团队发布LingBot-Map,一款基于几何上下文Transformer(GCT)的流式3D重建基础模型。其创新注意力机制整合锚点上下文、姿态参考窗口与轨迹记忆,分别实现坐标定位、密集几何线索提取和长程漂移校正。该系统在518×378分辨率输入下保持约20 FPS的推理速度,可稳定处理超10,000帧的长序列,且流式状态紧凑。多项基准测试表明,其性能优于现有流式及迭代优化方法。

arXiv具身智能多模态论文/研究
11:47
HuggingFace Daily Papers(社区热门论文)
MERRIN:嘈杂网络环境中的多模态证据检索与推理基准

研究团队发布MERRIN基准,评估搜索增强智能体在嘈杂网络环境中的多模态证据检索与推理能力。该基准涵盖视频、音频等未充分探索模态,要求智能体在无明确模态提示的查询下检索复杂且常含噪声或冲突的证据。测试显示,10个模型(包括GPT-5.4-mini、Gemini 3/3.1及Qwen3系列)平均准确率仅22.3%,最佳达40.1%。研究发现,强智能体虽表现更优,但因过度探索导致资源消耗高而准确率提升有限,且相比人类存在信源选择低效和过度依赖文本模态的问题。

智能体arXiv检索增强多模态
10:47
HuggingFace Daily Papers(社区热门论文)
ROSE:面向检索的分割增强

研究团队提出即插即用框架ROSE,通过引入互联网检索增强生成、文本与视觉提示增强及WebSense智能调度四大模块,解决多模态大语言模型在分割训练数据外新颖实体与需实时信息新兴实体时的知识滞后问题。同步构建的NEST基准测试用于评估此类场景。实验显示,ROSE在NEST基准上较Gemini-2.0 Flash检索基线提升19.2 gIoU,显著增强模型对实时网络信息的利用能力。

arXivHugging Face检索增强多模态
10:47
HuggingFace Daily Papers(社区热门论文)
UI-Zoomer:面向 GUI Grounding 的不确定性驱动自适应放大方法

UI-Zoomer是一种无需训练的自适应放大框架,通过不确定性量化优化GUI定位任务。该方法利用置信度感知门控机制仅在定位不确定时触发放大,并基于方差分解动态计算每实例的裁剪半径,替代传统的固定尺寸统一裁剪。在ScreenSpot-Pro、UI-Vision和ScreenSpot-v2基准测试中,该方法分别实现最高13.4%、10.3%和4.2%的精度提升,显著改善小图标与密集布局的定位效果。

智能体arXiv多模态论文/研究
10:30
公众号:腾讯混元
53
腾讯混元3D世界模型2.0发布:无缝对接游戏工作流
多模态开源生态模型发布
08:00
HuggingFace Daily Papers(社区热门论文)
49
RE-Edit:面向推理感知图像编辑的多维度基准测试

RE-Edit 是一个评估图像编辑系统隐式推理能力的多维度基准,包含五个推理维度(物理、环境、文化、因果、指代)和 1,000 个精心设计的样本。研究测试了十种开源和两种商用图像编辑模型,发现即使先进系统在满足隐含逻辑约束时也经常失败,尽管能生成高质量视觉内容。论文还提出了一种轻量级推理引导后编辑基线,初步探索了显式推理在模型无关方式下缓解此类错误的可能性。

arXiv图像生成多模态推理
08:00
HuggingFace Daily Papers(社区热门论文)
WavAlign:通过自适应混合后训练增强语音对话模型的智能与表现力

研究团队提出WavAlign方法,针对端到端语音对话模型智能与表现力不足的问题,设计了模态感知自适应后训练方案。该方法将偏好更新约束至语义通道,通过显式锚定改善声学行为,并基于rollout统计动态调节混合比例以避免不可靠梯度。在多个语音对话基准测试及代表性架构上的评估显示,模型在语义质量和语音表现力方面均获得一致提升。

arXiv多模态论文/研究语音
08:00
HuggingFace Daily Papers(社区热门论文)
面向高效视觉推理的自适应推理路径学习

研究团队提出自适应视觉推理框架 AVR,将推理过程分解为视觉感知、逻辑推理和答案应用三个认知功能,使模型能根据问题难度动态选择完整推理、仅感知或直接答案三种输出格式。该框架采用改进的 FS-GRPO 算法训练,在确保准确性的同时鼓励选择最高效推理路径。实验显示,AVR 在多个视觉语言基准测试中将 token 使用量降低 50–90%,同时保持整体准确率,有效缓解了视觉推理模型的"过度思考"问题。

多模态推理论文/研究
07:46
TestingCatalog News 🗞@testingcatalog
43
Google正在为其最近发布的Gemini桌面应用准备Gemini Live支持。 Gemini Live将以球状覆盖层(紫色)的形式出现,用户还能与Gemini共享屏幕。 快来了?👀

TestingCatalog News 🗞: @sundarpichai @GeminiApp @antigravity Looks like Gemini Live soon! 🔥

Google产品更新多模态
02:43
Google Gemini@GeminiApp
准备好充分利用 Gemini 中的笔记本了吗? 加入 @GoogleDeepMind 产品经理 Rebecca Zapfel 的直播演示,掌握多模态上下文、持久记忆、项目组织,以及如何使用 @NotebookLM notebooks 作为来源。随后是现场问答。 📅 本周四,4月16日,11:30 AM PT 👉还没加入我们的 Discord?在此加入:http://discord.gg/gemini
Google多模态教程/实践
01:47
HuggingFace Daily Papers(社区热门论文)
面向通用人形机器人操作的触觉梦境学习

研究团队提出Humanoid Transformer with Touch Dreaming(HTD)模型,整合基于强化学习的全身控制器与VR遥操作数据收集系统,解决接触丰富场景下的人形机器人操作难题。该方法将触觉作为与视觉、本体感觉同等重要的模态,通过"触觉梦境"机制训练模型预测未来触觉潜变量及手部关节力,从而学习接触感知表征。在插入、整理书籍、叠毛巾、铲猫砂、端茶等五项真实世界灵巧操作任务中,HTD平均成功率较强基线提升90.9%,其中潜空间触觉预测相比原始触觉数据可带来30%的额外性能增益。

arXiv具身智能多模态论文/研究
01:37
AK@_akhaliq
49
GlotOCR Bench OCR 模型在少数 Unicode 文字体系之外仍表现不佳 paper: https://huggingface.co/papers/2604.12978
多模态论文/研究评测/基准
00:07
AK@_akhaliq
55
NVIDIA 在 Hugging Face 上发布了 Lyra 2.0 可探索的生成式 3D 世界 论文: https://huggingface.co/papers/2604.13036 模型: https://huggingface.co/nvidia/Lyra-2.0
多模态开源生态模型发布
4月15日
23:46
HuggingFace Daily Papers(社区热门论文)
GlotOCR Bench:OCR 模型仍难以应对少数之外的 Unicode 文字

研究团队发布涵盖 100 余种 Unicode 文字的 GlotOCR Bench 基准测试,包含干净与退化图像变体。评估显示,多数视觉语言模型仅能正确处理不到 10 种文字,最强前沿模型也难以泛化至 30 种以上。性能与文字级预训练覆盖率高度相关,面对陌生文字时模型会产生随机噪声或幻觉已知相似字符。该基准测试及渲染流程已开源。

Hugging Face多模态论文/研究
16:51
HuggingFace Daily Papers(社区热门论文)
SpotSound:通过细粒度时间定位增强大型音频语言模型

研究团队发布SpotSound音频语言模型,针对长音频中的事件精确定位难题,提出可抑制幻觉时间戳的新型训练目标。同步推出SpotSound-Bench基准测试,目标事件占音频片段比例低于10%,模拟"大海捞针"的严苛真实场景。实验表明,该模型在时间定位基准上取得SOTA结果,同时在通用音频语言任务中保持稳健性能。相关代码、模型及数据集均已开源。

arXiv多模态论文/研究语音
11:41
DogeDesigner@cb_doge
Grok 现在支持一次上传最多 100 个文件。 今天我在一个聊天中上传了多张图片,并让 Grok 一起分析它们。它在几秒钟内处理完所有内容,并准备了一份详细的报告。 批量分析的一个超实用功能。
xAI产品更新多模态
01:36
DogeDesigner@cb_doge
NEWS: SpaceX 正在使用由 Grok 提供支持的语音 AI 助手来处理 Starlink 客户支持电话。该声音听起来完全像人类,可以实时与用户对话。 "Grok 在 SpaceX 和 Tesla 已经表现得相当出色。我们看到 Grok 在客户服务等事务中非常有帮助,而且 AI 拥有无限的耐心,所以你可以对它大喊大叫,它仍然会非常有礼貌。"
xAI多模态行业动态语音
00:03
AK@_akhaliq
38
OmniShow 统一多模态条件以生成人物-物体交互视频 论文: https://huggingface.co/papers/2604.11804
多模态视频论文/研究
4月14日
23:58
HuggingFace Daily Papers(社区热门论文)
全景成对失真图

本文提出Distortion Graph(DG)任务,将图像对表示为基于区域的结构化拓扑,以图结构编码失真类型、严重程度及质量评分。工作贡献包括区域级数据集PandaSet、多难度基准PandaBench及高效架构Panda。实验表明,当前多模态大语言模型难以处理区域级失真,而基于PandaSet训练或DG提示可有效激发区域级理解能力,为细粒度结构化图像质量评估提供新方向。

arXiv多模态论文/研究
22:03
TestingCatalog News 🗞@testingcatalog
NotebookLM 将会变得超强 👀 > Google 正在为 NotebookLM 开发新的 Canvas 体验和 Connectors 支持。 > Canvas 模式让用户能够从笔记本来源生成任何数据的可视化呈现。 > 最近设置菜单中新增了一个 Connectors 选项(目前隐藏)。 > 看起来在 Google I/O 上,我们将看到支持 Canvas、Connectors 和 Personal intelligence 的新版 NotebookLM。
Google检索增强产品更新多模态
20:11
HuggingFace Daily Papers(社区热门论文)
移动GUI智能体隐私个性化:基于轨迹诱导偏好优化

针对移动GUI智能体忽视用户隐私个性化需求的问题,研究者提出轨迹诱导偏好优化框架TIPO。该方法通过偏好强度加权突出关键隐私步骤,并采用填充门控抑制对齐噪声,有效解决了隐私优先与效用优先用户间轨迹结构异质性导致的优化不稳定难题。在Privacy Preference Dataset上的测试显示,TIPO在保持任务可执行性的同时,实现65.60%成功率、46.22合规性得分和66.67%隐私区分度,显著优于现有优化方法。相关代码与数据集已开源。

智能体多模态论文/研究
18:05
公众号:生数科技(Vidu·视频)
45
生数科技与阿里云达成战略合作,共建"云+AI"全栈生态,加速多模态大模型与世界模型产业落地

生数科技与阿里云签署战略合作协议,双方将共建“云+AI”全栈生态,推动多模态大模型与世界模型的产业落地。

多模态行业动态
09:32
AK@_akhaliq
47
Matrix-Game 3.0 具备长时记忆的实时流式交互世界模型 论文: https://huggingface.co/papers/2604.08995
具身智能多模态论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
具体性驱动的对比负样本挖掘用于组合理解

视觉-语言模型在组合推理中常受词序和属性绑定脆弱性困扰,源于对比预训练中缺乏区分细微语义变化的信息样本。本研究建立词汇具体性作为负样本有效性的决定因素,提出ConcretePlant方法系统操作感知概念,通过修改高具体性术语产生显著结构差异。针对InfoNCE梯度不平衡问题,提出Cement损失函数,采用基于边界的方法关联心理语言学分数与样本难度,动态校准惩罚强度。集成框架Slipform在组合评估基准、跨模态检索及线性探测任务上均达到最先进准确率。

arXiv多模态数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
以自监督引导增强视觉指令微调

多模态大语言模型在视觉中心任务中常因指令微调时视觉信息利用不足而表现欠佳。研究团队提出一种轻量级方法,将旋转预测、颜色匹配等经典自监督前置任务重构为图像-指令-回复三元组,无需人工标注或架构修改即可增强视觉指令微调。实验表明,仅在训练数据中注入3-10%的此类基于视觉的指令,就能在多个模型和基准测试上持续提升细粒度视觉推理性能。

多模态数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
Grid2Matrix:揭示视觉语言模型中的数字失认症

研究团队提出Grid2Matrix(G2M)基准,通过颜色网格转矩阵任务评估视觉语言模型(VLMs)的细粒度视觉感知。研究发现VLMs在零样本端到端评估中呈现急剧早期崩溃,即使小网格也会完全失败。探测显示视觉编码器保留了充足网格信息,但最终语言输出存在显著损失,这种"可恢复特征"与"语言表达"间的鸿沟被定义为"数字失认症"。错误模式与网格单元和视觉补丁边界重叠密切相关,且模型扩展等策略无法彻底消除该缺陷。

多模态论文/研究
‹ 上一页
1…4647484950
下一页 ›