inclusionAI发布了ZwZ-4B开源模型。该模型参数量为40亿，基于Transformer架构，上下文窗口为32K。其训练数据包含2万亿Token，涵盖代码、数学及多语言文本。模型采用分组查询注意力机制，支持16位与32位浮点精度。团队旨在通过开源推动人工智能技术的普及与发展。