在不到两分钟的时间里，Meta 的首席执行官马克·扎克伯格 （Mark Zuckerberg） 制定了该公司的 AI 计划，其中包括使用相当于 600000 个 Nvidia GPU 构建人工智能系统的计划。
扎克伯格在推特上发布的一段视频中说：“我正在将 Meta 的 AI 研究工作更紧密地结合在一起，以支持我们的长期目标，即构建通用智能、负责任地开源它，并让它对我们所有人日常生活中的每个人可用和有用。
扎克伯格的声明是 Meta 人工智能计划的最新路线图，该计划是围绕即将推出的 Llama3 构建的，目前正在训练中。它将接替去年的 Llama2 模型权重和分词器，后者在 Huggingface 上的总下载量不到 200 万次，取得了重大成功。开源开发人员还发布了数千个 Llama2 分支。
Llama3 将与谷歌最近发布的 Gemini 模型和 OpenAI 的 GPT-4 以及即将推出的 GPT-5 模型竞争。OpenAI 首席执行官 Sam Altman 尚未谈论 GPT-5，但暗示通过支持更多数据源，处理文本、语音和图像会容易得多。
“我们正在建设大量的基础设施，以在今年年底前支持这一点。如果包括其他GPU，我们将拥有大约350,000个Nvidia H100或大约600,000个H100等效的计算，“扎克伯格说。
这意味着 Meta 的 GPU 总数将超过大约 70 个国家/地区的人口。Meta 还将使用 AMD 的 MI300X GPU。事实上，Meta 在创纪录的时间内部署了配备 MI300X GPU 的服务器。
“[MI300X] 利用了 OCP 模块、标准和平台，帮助我们在创纪录的时间内采用了它。事实上，MI300X 是 Meta 历史上最快的部署解决方案之一，“Meta 高级工程总监 Ajit Mathews 在去年的 AMD 活动上登台亮相时说。
英伟达将于明年开始出货H200 GPU，以取代其H100 GPU。有迹象表明，随着 H200 出货量的增加，英伟达将扩大 H100 GPU 的出货量，而 H200 GPU 的需求量一直很大。
公司正在等待许多季度才能收到 Nvidia GPU，而 Meta 的 350,000 个 GPU 是一笔巨额订单。但英伟达正在缓慢地完成发货，优先考虑更大的客户，但也满足了比特币转型的人工智能数据中心公司下的小订单。
Meta 也在重建其数据中心，以专注于 GPU 计算。Meta 正在构建拥有数千个加速器的大型集群。核心网络以网状形式组织，加速器之间的带宽为每秒 1 TB。该公司在全球拥有 21 个数据中心，最近在伊利诺伊州迪卡尔布开设的数据中心使用可再生能源。
但要实现扎克伯格的最终目标，还需要更多的GPU：构建通用人工智能，这更像是人脑的数字版本。
扎克伯格说：“很明显，下一代服务需要构建完整的通用智能，构建最好的人工智能助手，为创作者提供人工智能，以及更多需要人工智能各个领域的进步，从推理到规划，从编码到记忆和其他认知能力。
扎克伯格解释了元宇宙战略如何与其人工智能计划相关联。来自人类的感官输入——图像、声音、语音——都将被输入到多模态人工智能中，输出将在眼镜和耳机等元宇宙设备上。目前，人工智能模型以聊天机器人、文本到图像生成器等形式分离，但最终，它们都将合并，以与人类处理信息的方式相匹配的方式呈现信息。
扎克伯格说：“人们也将需要新的人工智能设备，这将人工智能和元宇宙结合在一起，因为随着时间的推移，我认为我们中的很多人将在一天中与人工智能进行频繁的交谈。
一个例子是雷朋的Meta智能眼镜，它建立在高通的芯片上。凭借该产品，Meta“现在在日常功能方面扛起了智能眼镜的旗帜，”Moor Insights和Strategy分析师Anshel Sag在上个月发布的产品评论中表示.
“这些眼镜是让人工智能看到你所看到的和听到你听到的的理想外形。所以它总是可以提供帮助，“扎克伯格说。
马克·扎克伯格 （Mark Zuckerberg） 在 Twitter 上宣布推出 Llama 3 和 360K GPU
扎克伯格暗示，Llama3 很可能是 Meta 首个支持多媒体和语音输入的多模态模型。Llama 2 完全是一个聊天机器人，它提供了一个提示，用户可以在其中提出问题和编写故事。
Meta 在 Llama 3 中具有分销优势。开源性质意味着任何人都可以托管模型，Llama 2由Google，AWS和Microsoft提供云服务。Meta 从未为 Llama2 聊天机器人发布自己的托管服务，用户可以通过 HuggingChat 等服务或将其下载到他们的 PC 上来使用它。
扎克伯格说：“这项技术非常重要，机会如此之大，我们应该开源并负责任地使其尽可能广泛地提供，以便每个人都能受益。
扎克伯格也正在成为开源人工智能的代言人，他间接抨击了OpenAI和谷歌的人工智能闭源方法。OpenAI 和 Google 利用公共研究和开源开发人员来构建他们的 AI 战略，但为了从 AI 中获利而采用闭源方式。
OpenAI和谷歌的Transformer模型只能通过他们的网站获得（除了Microsoft，它已经在OpenAI的GPT模型上建立了人工智能战略）。
Meta“拥有像Pytorch这样的通用软件平台，每个人都在使用。它使整个领域加速发展，因为你有很多人在做这件事，“首席人工智能科学家Yann LeCun上周在达沃斯世界经济论坛的一次讨论中说。
Meta 在其 AI 技术中优先考虑安全和责任，这些技术已经在 Llama2 中得到了体现。该公司已经处理了许多政治争议，可能希望避免任何公众或政治上的强烈反对。Llama2 具有监督学习技术来权衡结果，这是在较新的 transformer 模型中从切换到无监督模型的转变。
扎克伯格没有评论该公司何时发布Llama 3。但该公司去年发布了 Llama 1 和 2，发布时间相隔十个月。