此次赵小贝，最大的亮点在于，Llama 3.2成为羊驼家眷中，首个营救多模态智力的模子。
Connect大会上，新出炉的Llama 3.2包含了微型（11B）和中型（90B）两种版块的主要视觉模子。
正如Meta所说，这两款模子大略径直替代，相对应的文本模子，况兼在图像一语气雇务上打败了闭源Claude 3 Haiku。
致使，90B版块打败了GPT-4o mini。
就连英伟达高档科学家Jim Fan都不禁夸赞，在轻量级模子中，开源社区举座上并不过期！
同期，为了适破碎落盘算和末端教养，Meta还推出了1B和3B两个轻量级纯文本的版块，可营救128K落魄文。
别看参数少，1B/3B在追想摘记、指示投诚、重写等任务上，施展相当出色，况兼专为Arm处理器作念了优化。
LeCun振作地示意，“可人的大羊驼宝宝来了”！
Meta首席时间官对Llama 3.2的发布，作念了两大亮点追想：
首个既能识别图像，又能一语气文本的多模态模子。最紧要的是，大略忘形闭源模子
超轻量1B/3B模子，解锁更多末端教养可能性
有网友对此点评谈，这可能是改变游戏规矩的非凡，角落教养AI正在壮大。
智力一览
11B和90B这两款模子，不仅营救图像推理场景，包括图表和图形在内的文档级一语气、图像形色以及视觉定位任务，况兼还能基于现存图表进行推理并快速给出回应。
比如，你不错问“旧年哪个月销售事迹最佳？”，Llama 3.2就会凭证现存图表进行推理，并速即给出谜底。
轻量级的1B和3B模子则不错匡助不仅在多谈话文本生成和器具调用智力方面施展出色，况兼具有庞杂的诡秘保护，数据恒久不会离开教养。
之是以在腹地运行模子备受全球的意思，主要在于以下两个主要上风：
提醒词和反应大略给东谈主遽然完成的嗅觉
应用法子不错明晰地抑制哪些查询留在教养上，哪些可能需要由云表的更大模子处理
性能评估
完了表现，Llama 3.2视觉模子在图像识别等任务上，与Claude 3 Haiku和GPT-4o mini不相落魄。
3B模子在投诚指示、追想、提醒词重写和器具使用等任务上，施展优于Gemma 2 2B和Phi 3.5 mini；而1B模子则与Gemma旗饱读相当。
视觉模子
动作首批营救视觉任务的Llama模子，Meta为11B和90B型打造了一个全新的模子架构。
在图像输入方面，锻练了一组适配器权重，将预锻练的图像编码器集成到预锻练的大谈话模子中。
具体来说，该适配器：
由一系列交叉空洞力层构成，负责将图像编码器的示意输入进大谈话模子
通过在文本-图像对上的锻练，结尾图像示意与谈话表征的对王人
在适配器锻练时辰，Meta会对图像编码器的参数进行更新，但不会更新大谈话模子参数。
也即是说，模子的纯文本智力便不会受到任何影响，而开采者也不错将之前部署的Llama 3.1无缝替换成Llama 3.2。
具体的锻练历程如下：
领先，为预锻练的Llama 3.1文本模子添加图像适配器和编码器，并在大范畴噪声图像-文本对数据上进行预锻练。
然后，在中等范畴的高质地范畴内和学问增强的图像-文本对数据上，再次进行锻练。
接着，在后锻练阶段罗致与文本模子访佛的花样，通过监督微调、停止采样和径直偏好优化进行多轮对王人。并加入安全缓解数据，保险模子的输出既安全又实用。
这在时辰，模子所使用的高质地微调数据，恰是来自合成数据生成时间——使用Llama 3.1模子在范畴内图像的基础上过滤和增强问题谜底，并使用奖励模子对通盘候选谜底进行排序。
最终，咱们就能得到一系列不错同期接纳图像和文本提醒词的模子，并大略深切一语气和对其组合进行推理。
对此，Meta自重地示意示意：“这是Llama模子向更丰富的AI智能体智力迈进的又一步”。
得到全新Llama 3.2加抓的助手Meta AI，在视觉一语气力上相当强。
比如，上传一张切开的诞辰蛋糕图片，并问它制作配方。
Meta AI便会给出手把手教程，从配意料加工样式，一应俱全。
又或者你发给它一张小羊的相片，并条款将其放在冲浪板上。
不霎时功夫，一只站在冲浪板上的山羊丹青好了。
轻量模子
通过诓骗剪枝（pruning）和蒸馏（distillation）这两种花样，Meta让全新的1B和3B模子，成为了首批大略高效地恰当教养的、具有高智力的轻量级Llama模子。
剪枝大略减小Llama的范畴，并尽可能地保留学问和性能
在此，Meta罗致了从Llama 3.1 80亿参数模子进行单次结构化剪枝的花样。也即是，系统地移除集合的部天职容，并改造权重和梯度的幅度，从而创建一个更小、更高效的大谈话模子，同期保留原始集合的性能。
完成剪枝之后，则需要使用学问蒸馏来收复模子的性能。
学问蒸馏是让一个更大的集合给更小的集合传授学问
也即是，较小的模子不错借助素质模子的指引，得回比从新启动锻练更好的性能。为此，Meta在预锻练阶段融入了来自Llama 3.1 8B和70B模子的logits（模子输出的原始猜测值），并将这些较大模子的输出则用作token级的办法。
后锻练阶段，Meta罗致了与Llama 3.1访佛的花样——通过在预锻练大谈话模子基础上进行多轮对王人来生成最终的聊天模子。
其中，每一轮都包括监督微调（SFT，Supervised Fine-Tuning）、停止采样（RS，Rejection Sampling）和径直偏好优化（DPO，Direct Preference Optimization）。
在这时辰，Meta不仅将模子的落魄文长度膨胀到了128K token，况兼还诓骗经过仔细筛选的合成数据和高质地的搀和数据，对诸如追想、重写、指示作陪、谈话推理和器具使用等多项智力进行了优化。
为了便于开源社区更好地基于Llama进行革命，Meta还与高通（Qualcomm）、联发科（Mediatek）和Arm张开了密切邻接。
值得一提的是，Meta此次发布的权重为BFloat16时势。
Llama Stack刊行版
Llama Stack API是一个行径化接口，用于规范器具链组件（如微调、合成数据生成等）以定制Llama大谈话模子并构建AI智能体应用。
自从本年7月Meta提议了干系的看法征求之后，社区反响相当横暴。
如今，Meta发扬推出Llama Stack刊行版——可将多个大略细致协同使命的API提供者打包在沿途，为开采者提供单一接入点。
这种简化且一致的使用体验，闪开采者大略在多种环境中使用Llama大谈话模子，包括腹地环境、云表、单节点就业器和末端教养。
完竣的发布实际包括：
Llama CLI：用于构建、设置和运行Llama Stack刊行版
多种谈话的客户端代码：包括Python、Node.js、Kotlin和Swift
Docker容器：用于Llama Stack刊行版就业器和AI智能体API供应商
多种刊行版：
单节点Llama Stack刊行版：通过Meta里面结尾和Ollama提供
云表Llama Stack刊行版：通过AWS、Databricks、Fireworks和Together提供
教养端Llama Stack刊行版：通过PyTorch ExecuTorch在iOS上结尾
腹地部署Llama Stack刊行版：由Dell提供营救
系统安全
此次，Meta在模子安全方面主要进行了两个更新：
1.Llama Guard 3 11B Vision
它营救Llama 3.2的全新图像一语气智力，并能过滤文本+图像输入提醒词或对这些提醒词的文本输出反应。
2. Llama Guard 3 1B
它基于Llama 3.2 1B，并在剪枝和量化处理之后，将模子大小从2，858MB缩减至438MB，使部署效果达到前所未有的高度。
当今，这些新处罚决议照旧集成到了Meta的参考结尾、演示和应用法子中，开源社区不错立即启动使用。
参考贵寓：
https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/赵小贝