inclusionAI 发布了 ZwZ-7B 模型，这是一个拥有70亿参数的开源大语言模型。该模型基于先进的 Transformer 架构，在多项基准测试中性能显著提升，尤其在代码生成和数学推理任务上表现突出。其上下文窗口扩展至 128K 令牌，并采用了分组查询注意力等高效技术。模型权重已完全开源，旨在通过开放科学推动人工智能技术的民主化与普及。