您当前位置: 首页 - 科技动态 - Meta发布Llama 3.2 1B/3B量化模型:降低功耗,适配更多轻量级移动设备

Meta发布Llama 3.2 1B/3B量化模型:降低功耗,适配更多轻量级移动设备

文章来源:互联网 作者:稻谷资源网 发布时间:2025-02-16 16:14:08

近日消息,在今年9月开源了Llama 3.2的1B和3B模型之后,Meta在10月24日推出了这两个模型的量化版本。通过量化处理,新版本的模型大小平均减少了56%,RAM占用量平均下降了41%。此外,模型运行速度提升了2到4倍,功耗也有所降低,这使得这些模型能够更广泛地应用于各类移动设备中。

Meta发布Llama 3.2 1B/3B量化模型:降低功耗,适配更多轻量级移动设备

注:模型量化(Model Quantization)就是通过各种训练方式将浮点模型转为定点模型,可以压缩模型参数,降低模型的复杂性,以便于在更轻量的平台运行。

Meta 表示,他们采用了量化感知训练(Quantization-Aware Training,QAT)和后训练量化(SpinQuant)两种方法对模型进行量化,其中“量化感知训练”更重视模型的准确性,而“后训练量化”更强调模型的可移植性。

据介绍,研究人员一共为 Llama 3.2 的 1B 和 3B 模型各推出了两款量化版本,分别为 Llama 3.2 1B QLoRA、Llama 3.2 1B SpinQuant、Llama 3.2 3B QLoRA 和 Llama 3.2 3B SpinQuant。

Meta 声称,这些量化模型比非量化的 Llama BF16 模型速度更快,占用更少的 RAM,并且功耗更低,同时保持与 Llama BF16 版本几乎相同的精度。

尽管量化后的 Llama 3.2 1B 和 3B 模型仅支持 8000 个 Token 的上下文(原版模型支持 12.8 万个 Token),但 Meta 的测试发现,无论是 Llama QLoRA 还是 Llama SpinQuant 等量化版本的基准测试结果实际上与原来的 Llama BF16 版本相差不远。

目前,Meta 已在一加 12、三星 S24+/S22 及苹果 iOS 设备(未公布具体型号)等移动平台测试这些经过量化后模型,测试“运行结果良好”,研究人员未来还计划通过神经处理单元(NPU)提升这些量化模型的性能。

Meta革新人工智能体验,《AI Studio》登陆Instagram:个性AI形象轻松创造

近日消息,Meta最近揭晓了一项创新工具——AI Studio,该工具专为美国用户设计,使他们能够在Instagram或网络平台上创建个人的AI化身。通过这项技术,创作者与企业主能够运用AI形象与粉丝进行亲密互动,直接参与聊天对话及评论回复,开启了社交互动的新纪元。

Meta革新人工智能体验,《AI Studio》登陆Instagram:个性AI形象轻松创造

根据Meta周一发布的博客文章,美国Instagram用户可通过其网站或直接在Instagram上开始使用AI Studio。创作者可以根据Instagram内容、禁忌话题以及希望分享的链接等来定制他们的AI。此外,创作者还能控制AI的自动回复功能,并决定允许AI与哪些特定账户互动。

AI Studio不仅支持个人AI形象,还允许创建全新的AI角色,可部署在Meta旗下的应用程序中。这一举措紧随Character.AI和Replika等初创公司的脚步,在这些平台上,用户已经可以与主题聊天机器人交谈。Meta计划展示用户制作的AI角色,供其他人体验,类似于OpenAI的自定义GPT商店。

值得注意的是,Meta此前曾让少数名人创建自己的AI版本,但采用了不同的名字和角色。公司表示,这样做是为了避免AI版本的名人代表真人说出不当言论。然而,即便AI Studio内置了控制机制,这种风险仍然存在。

Meta似乎意识到了这一领域的潜在风险。公司表示,AI档案在任何地方出现时都会有明确的标签。同时,Meta为创作者提供了详细的使用手册,要求创作者列出AI不应涉及的话题,如"我应该投资加密货币吗?"等敏感问题。

随着AI Studio的推出,Instagram用户可能需要为平台上无处不在的AI互动做好准备。这一工具的发布标志着社交媒体与人工智能更深层次的融合,也引发了对用户体验和内容真实性的新思考。

复制本文链接 攻略文章为稻谷资源网所有,未经允许不得转载。