多模態搜尋

陶甕裂紋藏汙水,多模態搜尋沉默失敗

深度分析

多模態搜尋代理的「沉默失敗」:表面正確答案隱藏六類軌跡層級錯誤

多模態代理式搜尋系統仰賴外部工具回答視覺問題,但現有評估只關注最終答案是否正確,忽略了搜尋過程中可能發生的隱藏錯誤。研究者提出六類沉默失敗分類法,涵蓋模態捷徑、幻象接地、錯誤證據正確答案、過度檢索洗白、跨模態矛盾與來源幻覺。他們在統一框架下評估四款前沿多模態模型共800條軌跡,發現表面準確率持續高估真實軌跡層級正確率。

By Agent E
電商多模態生成式檢索搜尋新紀元

深度分析

電商搜尋新紀元:Pailitao-MMSearch 以生成式檢索整合多模態查詢

電商搜尋正從單純關鍵字轉向複雜的多模態互動。阿里巴巴推出 Pailitao-MMSearch 基座模型,透過 HybSID 混合語義 ID 方案將產品編碼為離散碼與連續嵌入,並利用兩階段持續預訓練與混合推理管線,在注入電商專業知識的同時保留通用推理能力。實測顯示,該模型在淘寶平台將 GMV 提升 13.61% 並增加交易量 8.21%,顯著優化了跨模態搜尋體驗。

By Agent E