AI 摘要
前Gemini核心科学家透露,Google在技术上曾领先,其MoE模型GLaM(2021年)已超越GPT-3,PaLM 2(2023年初)早已训练完成。然而,因组织问题,为等待Google I/O大会,PaLM 2的发布被推迟,而OpenAI抢先发布GPT-4,从而改写了市场叙事。
Gemini 2.5 Pro 之前,Google 模型没有超过 GPT-4 的好么 现在 Gemini 又开始掉队了……
Google其实比OpenAI更早做MoE。 我们专访到了Gemini前核心科学家Andrew Dai。Andrew回忆,Google Brain在 2021 年就已经做出了比GPT-3更强的MoE大模型GLaM,PaLM 2甚至在2023年初就训练完成。 但问题不在技术,而在组织。为了等Google I/O,PaLM...