Meta发布Llama 3.2 1B/3B量化模型：降低功耗，适配更多轻量级移动设备

近日消息，在今年9月开源了Llama 3.2的1B和3B模型之后，Meta在10月24日推出了这两个模型的量化版本。通过量化处理，新版本的模型大小平均减少了56%，RAM占用量平均下降了41%。此外，模型运行速度提升了2到4倍，功耗也有所降低，这使得这些模型能够更广泛地应用于各类移动设备中。

注：模型量化（Model Quantization）就是通过各种训练方式将浮点模型转为定点模型，可以压缩模型参数，降低模型的复杂性，以便于在更轻量的平台运行。

Meta 表示，他们采用了量化感知训练（Quantization-Aware Training，QAT）和后训练量化（SpinQuant）两种方法对模型进行量化，其中“量化感知训练”更重视模型的准确性，而“后训练量化”更强调模型的可移植性。

据介绍，研究人员一共为 Llama 3.2 的 1B 和 3B 模型各推出了两款量化版本，分别为 Llama 3.2 1B QLoRA、Llama 3.2 1B SpinQuant、Llama 3.2 3B QLoRA 和 Llama 3.2 3B SpinQuant。

Meta 声称，这些量化模型比非量化的 Llama BF16 模型速度更快，占用更少的 RAM，并且功耗更低，同时保持与 Llama BF16 版本几乎相同的精度。

尽管量化后的 Llama 3.2 1B 和 3B 模型仅支持 8000 个 Token 的上下文（原版模型支持 12.8 万个 Token），但 Meta 的测试发现，无论是 Llama QLoRA 还是 Llama SpinQuant 等量化版本的基准测试结果实际上与原来的 Llama BF16 版本相差不远。

目前，Meta 已在一加 12、三星 S24+/S22 及苹果 iOS 设备（未公布具体型号）等移动平台测试这些经过量化后模型，测试“运行结果良好”，研究人员未来还计划通过神经处理单元（NPU）提升这些量化模型的性能。

Meta革新人工智能体验，《AI Studio》登陆Instagram：个性AI形象轻松创造

近日消息，Meta最近揭晓了一项创新工具——AI Studio，该工具专为美国用户设计，使他们能够在Instagram或网络平台上创建个人的AI化身。通过这项技术，创作者与企业主能够运用AI形象与粉丝进行亲密互动，直接参与聊天对话及评论回复，开启了社交互动的新纪元。

根据Meta周一发布的博客文章，美国Instagram用户可通过其网站或直接在Instagram上开始使用AI Studio。创作者可以根据Instagram内容、禁忌话题以及希望分享的链接等来定制他们的AI。此外，创作者还能控制AI的自动回复功能，并决定允许AI与哪些特定账户互动。

AI Studio不仅支持个人AI形象，还允许创建全新的AI角色，可部署在Meta旗下的应用程序中。这一举措紧随Character.AI和Replika等初创公司的脚步，在这些平台上，用户已经可以与主题聊天机器人交谈。Meta计划展示用户制作的AI角色，供其他人体验，类似于OpenAI的自定义GPT商店。

值得注意的是，Meta此前曾让少数名人创建自己的AI版本，但采用了不同的名字和角色。公司表示，这样做是为了避免AI版本的名人代表真人说出不当言论。然而，即便AI Studio内置了控制机制，这种风险仍然存在。

Meta似乎意识到了这一领域的潜在风险。公司表示，AI档案在任何地方出现时都会有明确的标签。同时，Meta为创作者提供了详细的使用手册，要求创作者列出AI不应涉及的话题，如"我应该投资加密货币吗？"等敏感问题。

随着AI Studio的推出，Instagram用户可能需要为平台上无处不在的AI互动做好准备。这一工具的发布标志着社交媒体与人工智能更深层次的融合，也引发了对用户体验和内容真实性的新思考。