OpenRouter 宣布推出其首个名为 Quasar Alpha 的“隐身”模型。
OpenRouter 宣布推出其首个名为 Quasar Alpha 的“隐身”模型。
DeepSeek-V3 新版已发布,关闭深度思考模式即可体验,模型权重同步开源。
关联讨论 1 条公众号:DeepSeek(深度求索)Mistral AI 于2025年3月17日发布 Mistral Small 3.1。该模型在 Mistral Small 3 基础上改进,支持最高 128k tokens 上下文窗口,推理速度达 150 tokens/秒,并支持多模态理解。官方称其性能超越了 Gemma 3 和 GPT-4o Mini 等同量级模型。Mistral Small 3.1 以 Apache 2.0 许可开源,基础模型与指令微调模型均已发布。模型轻量化,可在单张 RTX 4090 或配备 32GB RAM 的 Mac 上运行,适用于对话助手、函数调用、专业领域微调及构建推理模型等多种场景。
Mistral AI 推出首个区域语言模型 Mistral Saba。这是一个参数量为 24B 的模型,基于来自中东和南亚的精选数据集进行训练。模型在提供比自身参数量大五倍的通用模型更准确的相关响应的同时,具备更快的速度和更低的成本。Mistral Saba 支持阿拉伯语及多种印度语言,在南印度语系如泰米尔语上表现尤为突出。它以 API 形式提供服务,同时也支持在客户的安全环境中进行本地部署。该模型轻量化,可在单 GPU 系统上运行,响应速度超过 150 tokens/秒。
Mistral AI 发布 Mistral Small 3,一款基于 Apache 2.0 开源、延迟优化的 24B 参数大语言模型。其性能可与 Llama 3.3 70B、Qwen 32B 等更大模型竞争,并作为 GPT-4o-mini 的开源替代。指令微调版本在代码、数学、通用知识等基准测试中表现出色,MMLU 准确率超 81%,推理速度达 150 tokens/s。该模型未使用强化学习或合成数据训练,提供预训练和指令微调两个检查点,适合本地部署,经量化后可在单块 RTX 4090 或 32GB 内存 MacBook 上运行。现已在 la Plateforme 平台提供,并与 Hugging Face、Ollama、Together AI 等合作推出。
关联讨论 1 条Mistral AI:News(网页)DeepSeek-R1 发布,性能对标 OpenAI o1 正式版。模型遵循 MIT License 开放 API,训练技术同步公开。
Mistral AI 推出了代码生成模型 Codestral 25.01。相比前代 Codestral-2405,该模型采用了更高效的架构并改进了分词器,使代码生成与补全速度提升约 2 倍。Codestral 25.01 的上下文长度为 256k。在多项基准测试中,它在 HumanEval 平均基准上得分 71.4%,在 HumanEvalFIM(填充中间)平均基准上得分 85.9%,成为同量级模型中代码生成,尤其是填充中间(FIM)任务的 SOTA。
深度求索正式发布 DeepSeek-V3 模型,性能比肩世界顶尖模型,速度跃升,价格更新。
DeepSeek 上线推理模型预览版,其推理性能与 OpenAI 的 o1-preview 相当,并公开了模型的完整思维链。
关联讨论 1 条公众号:DeepSeek(深度求索)Mistral AI 基于 Mistral Large 2 发布了开源多模态模型 Pixtral Large。该模型包含 123B 多模态解码器和 1B 视觉编码器,支持 128K 上下文窗口。性能方面,它在 MathVista、DocVQA、ChartQA 和 MM-MT-Bench 等基准测试中超越 GPT-4o 与 Gemini-1.5 Pro,并在 LMSYS Vision Leaderboard 上成为得分最高的开源模型。需要注意的是,该模型已停止维护,并被更新的视觉模型所取代。
关联讨论 1 条Mistral AI:News(网页)Mistral AI发布了两个新的边缘计算模型Ministral 3B和Ministral 8B。两者均支持高达128k的上下文长度。Ministral 8B采用了特殊的交错滑动窗口注意力模式,以实现更快、内存效率更高的推理。这些模型在知识、常识、推理、函数调用和效率方面为10B以下类别设定了新标杆,可用于设备端翻译、离线智能助手、本地分析和机器人等场景。在多项基准测试中,它们超越了同级别的Gemma 2 2B、Llama 3.2 3B等模型。Ministral 8B的API定价为$0.1 / M tokens,Ministral 3B为$0.04 / M tokens。
DeepSeek-V2.5 在 LMSYS ChatBotArena(全球大模型竞技场)榜单中上榜,创下国产大模型在该竞技场的最高得分记录。
Mistral AI 发布了多模态模型 Pixtral 12B,该模型现已弃用,已被更新更强的版本取代。其基于 Mistral Nemo 构建,包含一个从头训练的 400M 参数视觉编码器,总参数为 12B。模型原生支持可变图像尺寸与宽高比,并能在 128K token 的上下文窗口中处理多张图像。在 MMMU 推理基准测试中,Pixtral 12B 达到 52.5% 的分数,超越了众多更大规模的模型。它在保持强大文本能力(如指令跟随,相对前代开源模型有 20% 提升)的同时,在多模态任务上表现出色。该模型采用 Apache 2.0 许可证。
DeepSeek-V2.5 保留原有 Chat 模型的通用对话能力和 Coder 模型的代码处理能力,并更好地对齐人类偏好。
Mistral AI发布了大语言模型Mistral Large 2。该模型拥有128k上下文窗口和123B参数,支持数十种语言和80多种编程语言,专为单节点长上下文推理设计。在MMLU基准上,其预训练版本达到84.0%准确率,性能与GPT-4o、Claude 3 Opus和Llama 3 405B相当,并显著降低了模型幻觉倾向。模型通过Mistral的API平台和HuggingFace提供,采用Mistral Research License(研究用途)和商业许可(商用部署)。平台将整合为通用模型(Mistral Nemo、Mistral Large)和专用模型(Codestral、Embed)的组合。
Mistral AI团队与NVIDIA合作发布了Mistral NeMo,这是一个12B参数的大语言模型。它提供高达128k tokens的上下文窗口,并在推理、世界知识和编码能力上达到了其规模的前沿水平。该模型基于标准架构,是Mistral 7B的即插即用替代品,并支持FP8推理。Mistral NeMo以Apache 2.0许可开源,包含预训练和指令微调版本,权重已发布在HuggingFace并可通过其API平台调用。新引入的Tekken分词器在超过100种语言上训练,在压缩多种语言文本时效率显著高于前代。
Mistral AI 团队发布了 Codestral Mamba 模型。该模型由 Albert Gu 和 Tri Dao 协助设计,采用 Mamba 架构而非 Transformer,具备线性时间推理优势,并在代码与推理能力上进行了训练,以达到与 SOTA Transformer 模型相当的性能。模型在高达 256k tokens 的上下文检索能力上进行了测试。它是一个指令微调版本,参数规模为 7,285,403,648,以 Apache 2.0 许可证开源。用户可通过 mistral-inference SDK 或 TensorRT-LLM 进行部署,权重可从 HuggingFace 下载,也已在 la Plateforme 上提供。
Mistral AI 发布了专注于数学推理的 7B 参数模型 Mathstral 7B。该模型基于 Mistral 7B 构建,旨在解决需要复杂多步推理的高级数学问题。它在 MATH 和 MMLU 基准上分别达到 56.6% 和 63.47%,在同等参数规模中实现 SOTA 性能。通过增加推理时计算,其在 MATH 上的分数可借助多数投票提升至 68.37%,使用强奖励模型则可达 74.59%。该模型为指令模型,权重已托管于 HuggingFace。
Mistral AI推出其首个专用代码模型Codestral。该模型拥有22B参数,开源权重,专为代码生成任务设计,支持80+编程语言,并具备32k的上下文窗口,在RepoBench评测中表现优于竞品。开发者可通过专用端点 codestral.mistral.ai 获得为期8周的免费Beta测试,也可通过 api.mistral.ai 按token计费使用。该模型已集成至LlamaIndex、LangChain以及Continue.dev和Tabnine等IDE工具。
Mistral AI发布其最新开放模型Mixtral 8x22B。该模型基于稀疏混合专家(SMoE)架构,在141B总参数中激活39B参数,拥有64K tokens上下文窗口,支持英语、法语、意大利语、德语和西班牙语,并具备强大的数学、编码及原生函数调用能力。在MMLU等标准基准测试中,其推理性能超越其他开源模型,且推理速度优于任何密集型70B模型。该模型以Apache 2.0许可证开源发布。
音乐生成平台 Suno 发布了 v3 模型,这是其首个能生成广播级质量音乐的模型,支持用户在数秒内创作完整的两分钟歌曲,现已对所有用户开放。v3 在音频质量、风格多样性及提示词遵循性上进行了改进,减少了模型幻觉并提升了歌曲结尾的自然度。该模型专为原创音乐设计,不支持对其他艺术家的参考,并部署了不可听水印技术以检测 AI 生成内容。v4 模型已在开发中。
Mistral AI发布了其最新旗舰大语言模型Mistral Large。该模型在MMLU基准测试中排名全球第二(仅次于GPT-4),拥有32K token上下文窗口,原生支持英语、法语、西班牙语、德语和意大利语,并具备函数调用能力。Mistral Large已可通过Azure AI Studio和Mistral自身的la Plateforme API访问。同时,Mistral还发布了优化低延迟的Mistral Small。
Mistral AI 发布开源模型 Mixtral 8x7B,采用 Apache 2.0 许可证。这是一个稀疏混合专家(SMoE)模型,总参数 46.7B,但每个 token 仅激活 12.9B 参数。其推理速度比 Llama 2 70B 快 6 倍,并在多数基准测试中匹配或超越 GPT-3.5。模型支持 32k token 上下文窗口,掌握英语、法语、意大利语、德语和西班牙语,并具备强大的代码生成能力。同步发布经监督微调和直接偏好优化(DPO)的指令版本 Mixtral 8x7B Instruct,其在 MT-Bench 上得分 8.3。
Mistral AI团队开源了其7.3B参数模型Mistral 7B。该模型在所有基准测试中超越Llama 2 13B,在许多测试中超越Llama 1 34B,并在代码任务上接近CodeLlama 7B的性能。它采用Grouped-query attention (GQA)以加速推理,并使用Sliding Window Attention (SWA)以更低的成本处理长序列。在推理、理解和STEM推理(MMLU)上,其性能相当于超过3倍大小的Llama 2模型。模型以Apache 2.0许可证开源,并提供了一个针对对话微调的Mistral 7B Instruct版本,其在MT-Bench上表现优于所有7B模型。
关联讨论 1 条Mistral AI:News(网页)