阿里云开源通义千问Qweb2 支持128K上下文 在测试中表现不俗 – 蓝点网
阿里云今天推出了通义千问人工智能模型的蓝点重大升级版本:Qwen2,该模型提供 5 个不同的阿里尺寸、上下文长度最高支持 128K tokens,云开源通义千并且在各项测试中表现不俗。问Q文测网
Qwen2 的上下试中所有尺寸版本均已同步在 GitHub、HuggingFace 和 ModelScope 上开源,表现不俗有兴趣的蓝点开发者可以立即获取模型进行测试。

此次发布的阿里新版本亮点包括:
- 能力较此前版本有较大幅度提升,在开源模型测试中名列前茅
- 提供 5 个预训练和指令微调模型,云开源通义千包括 Qwen2-0.5B、问Q文测网Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B
- 在编程领域和数学方面的能力显著提高
- 增加上下文长度,现在最高支持 128K tokens
- 在中文和英语的基础上,增加 27 种语言相关的数据进行训练

在 Qwen1.5 系列模型中只有 32B 和 110B 版使用 GQA,而在 Qwen2 中所有模型都使用 Qwen2,使用 GQA 后有助于提升推理能力和降低显存的占用。
同时诸如 Qwen2-0.5B 和 1.5B 版可以在性能更低的设备上运行,例如在智能手机本地运行 Qwen2-0.5B 而不需要云端处理,这种也是未来的趋势,未来可能所有智能设备都会支持 AI,这就需要更小的模型为本地运行提供支持。
模型评估显示 Qwen2 能力超过 Llama3:
目前人工智能开源 / 开放社区中最重要的两个贡献者就是 Meta 和阿里云,Meta 主要就是 Llama 系列模型最新版本为 Llama3。
在开源 / 开放模型能力评测中,Qwen2-72B 版在各方面超过 Llama3-70B,也超过了 Mixtral-8x22B,所以现在压力给到了 Meta,不知道 Meta 什么时候发布新版本。



阿里云 AI 团队表示:
大规模预训练后,我们对模型进行精细的微调,以提升其智能水平,让其表现更接近人类。这个过程进一步提升了代码、数学、推理、指令遵循、多语言理解等能力。此外,模型学会对齐人类价值观,它也随之变得更加对人类有帮助、诚实以及安全。我们的微调过程遵循的原则是使训练尽可能规模化的同时并且尽可能减少人工标注。我们探索了如何采用多种自动方法以获取高质量、可靠、有创造力的指令和偏好数据,其中包括针对数学的拒绝采样、针对代码和指令遵循的代码执行反馈、针对创意写作的回译、针对角色扮演的 scalable oversight、等等。在训练方面,我们结合了有监督微调、反馈模型训练以及在线 DPO 等方法。我们还采用了在线模型合并的方法减少对齐税。这些做法都大幅提升了模型的基础能力以及模型的智能水平。
限时活动推荐:软购618多款正版软件2折购、QQ超会15月108元、B站大会员88元、腾讯视频128元、爱奇艺138元。
相关文章
在天涯明月刀中,不同身份也有赚钱的方法,但是何种身份赚钱更多呢?99安卓网小编这里就来详细对比各种身份赚钱的多少,玩家选择身份的时候可以参考他们赚钱的能力。1、捕快:当过很长一段时间捕快,收益嘛就是每2025-11-28
浓情端五,粽喷鼻悠悠。一年一度的端五节止已到临,大年夜家将如何度过那舒畅的小少假呢?网易尾款1V4非对称竞技足游《第五品德》端五节活动即将开启,细彩涂鸦等您收与,齐新遁击音乐陪您纵情遁逐! 【进进专区2025-11-28
说到好用的美白精华,sk2小灯泡一定要拥有姓名,sk2小灯泡大家一致公认好用的美白精华,sk2小灯泡的美白效果是非常棒的,坚持使用肤色很大的提亮效果。sk2小灯泡会闷痘吗使用sk2小灯泡会导致有些人长2025-11-28
化妆水是日常护肤必备的护肤品,化妆水有很多种,爽肤水、柔肤水、收敛水、精华水等都是属于化妆水,精华水的营养成分是比较高的,效果更加突出。精华水和爽肤水哪个好很多朋友都会对精华水和爽肤水哪个更好有疑问,2025-11-28
光遇12.18免费魔法领取分享2021发布时间:2021-12-18 09:31:59来源:逗游作者:逗游网光遇唯美冒险男生女生一起玩游戏类别:休闲益智游戏大小:1105.92M 游戏语言:简体中文游2025-11-28
本日1月24日)暴雪公布了《暗乌粉碎神4》第三赛季“魔动机赛季”的真机饱吹片,古晨该赛季已正在PlayStation 4、PlayStation 5、Xbox One、Xbox Series S|X战2025-11-28

最新评论