腾讯混元推出全球首个产业级2Bit端侧量化模型HY-1.8B-2Bit,专为消费级硬件设计。该模型通过量化感知训练技术,将等效参数量压缩至0.3B,内存占用仅600MB,比原始模型缩小6倍。在保持与4比特模型相当性能的同时,其在手机等设备上的生成速度提升2-3倍,首字延迟大幅降低。模型支持灵活思维链模式,并已完成Arm等平台适配,可在移动设备高效运行。这一突破为离线、高私密性的端侧AI应用提供了“小而强”的解决方案,推动大模型在边缘计算场景的落地。

文章版权声明 1 本网站名称:凉西西小圈
2 本站永久网址:https://www.xcxybbs.cn
3 本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长 QQ418005852进行删除处理。
4 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
5 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
6 本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
© 版权声明