DeepSeek 发布了一款开源数学定理证明模型，目标是加速“数学定理证明的 AlphaGo 时代”的到来。

xAI 正式发布 Grok-2 测试版（Beta），开放新模型体验。该版本在推理、代码生成和多模态能力方面有所升级，用户现可注册试用最新功能。

Mistral AI发布了大语言模型Mistral Large 2。该模型拥有128k上下文窗口和123B参数，支持数十种语言和80多种编程语言，专为单节点长上下文推理设计。在MMLU基准上，其预训练版本达到84.0%准确率，性能与GPT-4o、Claude 3 Opus和Llama 3 405B相当，并显著降低了模型幻觉倾向。模型通过Mistral的API平台和HuggingFace提供，采用Mistral Research License（研究用途）和商业许可（商用部署）。平台将整合为通用模型（Mistral Nemo、Mistral Large）和专用模型（Codestral、Embed）的组合。

Mistral AI团队与NVIDIA合作发布了Mistral NeMo，这是一个12B参数的大语言模型。它提供高达128k tokens的上下文窗口，并在推理、世界知识和编码能力上达到了其规模的前沿水平。该模型基于标准架构，是Mistral 7B的即插即用替代品，并支持FP8推理。Mistral NeMo以Apache 2.0许可开源，包含预训练和指令微调版本，权重已发布在HuggingFace并可通过其API平台调用。新引入的Tekken分词器在超过100种语言上训练，在压缩多种语言文本时效率显著高于前代。

Mistral AI 团队发布了 Codestral Mamba 模型。该模型由 Albert Gu 和 Tri Dao 协助设计，采用 Mamba 架构而非 Transformer，具备线性时间推理优势，并在代码与推理能力上进行了训练，以达到与 SOTA Transformer 模型相当的性能。模型在高达 256k tokens 的上下文检索能力上进行了测试。它是一个指令微调版本，参数规模为 7,285,403,648，以 Apache 2.0 许可证开源。用户可通过 mistral-inference SDK 或 TensorRT-LLM 进行部署，权重可从 HuggingFace 下载，也已在 la Plateforme 上提供。

Mistral AI 发布了专注于数学推理的 7B 参数模型 Mathstral 7B。该模型基于 Mistral 7B 构建，旨在解决需要复杂多步推理的高级数学问题。它在 MATH 和 MMLU 基准上分别达到 56.6% 和 63.47%，在同等参数规模中实现 SOTA 性能。通过增加推理时计算，其在 MATH 上的分数可借助多数投票提升至 68.37%，使用强奖励模型则可达 74.59%。该模型为指令模型，权重已托管于 HuggingFace。

Mistral AI推出其首个专用代码模型Codestral。该模型拥有22B参数，开源权重，专为代码生成任务设计，支持80+编程语言，并具备32k的上下文窗口，在RepoBench评测中表现优于竞品。开发者可通过专用端点 codestral.mistral.ai 获得为期8周的免费Beta测试，也可通过 api.mistral.ai 按token计费使用。该模型已集成至LlamaIndex、LangChain以及Continue.dev和Tabnine等IDE工具。

Mistral AI发布其最新开放模型Mixtral 8x22B。该模型基于稀疏混合专家（SMoE）架构，在141B总参数中激活39B参数，拥有64K tokens上下文窗口，支持英语、法语、意大利语、德语和西班牙语，并具备强大的数学、编码及原生函数调用能力。在MMLU等标准基准测试中，其推理性能超越其他开源模型，且推理速度优于任何密集型70B模型。该模型以Apache 2.0许可证开源发布。

Pile-T5 是研究人员基于 T5 架构，在 The Pile 大规模文本数据集上训练的语言模型。该模型继承了 T5 的文本到文本转换框架，通过在大规模多样化语料上的预训练，提升了自然语言理解与生成能力。Pile-T5 的发布为相关研究提供了基于 The Pile 数据训练的 T5 变体，适用于各类下游自然语言处理任务。

xAI 发布 Grok-1.5 大模型，推理与编程能力显著提升，支持 128K 上下文窗口，数学与代码基准测试成绩大幅改进，已向 X 平台 Premium+ 用户开放。

音乐生成平台 Suno 发布了 v3 模型，这是其首个能生成广播级质量音乐的模型，支持用户在数秒内创作完整的两分钟歌曲，现已对所有用户开放。v3 在音频质量、风格多样性及提示词遵循性上进行了改进，减少了模型幻觉并提升了歌曲结尾的自然度。该模型专为原创音乐设计，不支持对其他艺术家的参考，并部署了不可听水印技术以检测 AI 生成内容。v4 模型已在开发中。

Mistral AI发布了其最新旗舰大语言模型Mistral Large。该模型在MMLU基准测试中排名全球第二（仅次于GPT-4），拥有32K token上下文窗口，原生支持英语、法语、西班牙语、德语和意大利语，并具备函数调用能力。Mistral Large已可通过Azure AI Studio和Mistral自身的la Plateforme API访问。同时，Mistral还发布了优化低延迟的Mistral Small。

Mistral AI 发布开源模型 Mixtral 8x7B，采用 Apache 2.0 许可证。这是一个稀疏混合专家（SMoE）模型，总参数 46.7B，但每个 token 仅激活 12.9B 参数。其推理速度比 Llama 2 70B 快 6 倍，并在多数基准测试中匹配或超越 GPT-3.5。模型支持 32k token 上下文窗口，掌握英语、法语、意大利语、德语和西班牙语，并具备强大的代码生成能力。同步发布经监督微调和直接偏好优化（DPO）的指令版本 Mixtral 8x7B Instruct，其在 MT-Bench 上得分 8.3。

xAI发布大模型Grok，灵感源自《银河系漫游指南》，主打幽默叛逆风格，能回答敏感问题并通过X平台获取实时信息。底层模型Grok-1拥有330亿参数，在HumanEval编码测试达63.2%、MMLU达73%，性能超越GPT-3.5和同计算量级模型。在2023匈牙利高中数学考试中获C级（59%）。系统目前处于早期测试阶段。

Mistral AI团队开源了其7.3B参数模型Mistral 7B。该模型在所有基准测试中超越Llama 2 13B，在许多测试中超越Llama 1 34B，并在代码任务上接近CodeLlama 7B的性能。它采用Grouped-query attention (GQA)以加速推理，并使用Sliding Window Attention (SWA)以更低的成本处理长序列。在推理、理解和STEM推理（MMLU）上，其性能相当于超过3倍大小的Llama 2模型。模型以Apache 2.0许可证开源，并提供了一个针对对话微调的Mistral 7B Instruct版本，其在MT-Bench上表现优于所有7B模型。

LMSYS Org发布LongChat-7B与LongChat-13B模型，通过压缩旋转位置编码技术将LLaMA的上下文窗口从2K扩展至16K tokens。模型基于8万条（7B）和1.8万条（13B）curated对话数据微调，训练成本分别为300美元与700美元。评估显示，LongChat-13B的长程检索准确率较MPT-7B-storywriter等开源模型提升2倍，在MT-Bench基准测试中表现优异，显著缩小了与Claude-100K、GPT-4-32K等商业长文本模型的差距。

OpenAI 发布 DALL•E 2 研究版本，支持通过自然语言指令生成和编辑图像。作者认为这标志着计算机界面新趋势——自然语言交互，并指出与 Copilot 不同，DALL•E 2 能独立完成完整作品，可能率先冲击创意工作而非体力劳动，预示 AI 对劳动力市场的潜在影响。团队计划今年夏天正式产品化，当前采用渐进式部署策略以评估风险。

GPT-NeoX-20B 正式发布。这款拥有 200 亿参数的大规模语言模型由开发团队与云计算服务商 CoreWeave 合作训练完成。该模型在参数量级上达到 200 亿规模，通过双方协作完成训练流程，为自然语言处理研究和应用提供了新的基础模型选择。

Mistral AI 发布了首个面向 Lean 4 证明助手的开源代码代理 Leanstral。该代理采用稀疏架构，仅激活 60 亿参数，专为在真实形式化代码库中操作而训练。在 FLTEval 评估中，其表现优异：仅需两次尝试即以 26.3 分超越多个大型开源模型，同时成本效益显著。例如，达到此分数时，Leanstral 成本为 36 美元，远低于 Claude Sonnet 的 549 美元。其权重基于 Apache 2.0 许可开源，并已集成至 Mistral Vibe 平台提供免费 API。

2018年以来，自然语言处理领域取得显著进展。以OpenAI GPT和BERT为代表的大规模预训练语言模型，通过通用的模型架构在多种语言任务上达到了领先水平。这些模型无需依赖标注数据进行预训练，使研究者能够不断扩展训练规模，推动了性能的持续提升。文章后续还持续更新了ULMFiT、GPT-2、ALBERT、RoBERTa、T5、GPT-3、XLNet、BART和ELECTRA等后续模型的发展情况。