苹果发布开源多模态LLM Ferret，意外加入人工智能社区

【HowToTech科技】12月25日消息，苹果公司与哥伦比亚大学的研究团队于2023年10月发布了一款名为Ferret(雪貂)的多模态开源LLM，然而，当时这一新闻并未引起广泛的注意。

许多人工智能领域的从业者错过了Ferret的发布，他们对苹果进入开源LLM领域感到意外，尤其考虑到苹果一直被视为一个”封闭花园”的公司。

今天早上，欧洲一家专注于医学领域开源人工智能的非营利组织的Bart de
Witte在社交平台X上发帖：“我不知道怎么错过了这个，但苹果在10月份加入了开源人工智能社区。Ferret的发布证明了苹果在深度影响人工智能研究方面的承诺，巩固了其在多模态人工智能领域的领导地位……ps：我期待有一天，本地大型语言模型(LLLMs)会成为重新设计的iOS的一部分，运行在我的iPhone上。”

科技博客作者和VentureBeat的撰稿人Ben
Dickson在LinkedIn上写道：“2023年最令人意外的人工智能发展是什么?对我来说，就是苹果发布了开源LLM(尽管是非商业许可)。”

Ferret是以非商业许可证开源的，这意味着当前版本不能用于商业用途。然而，它有可能被应用于苹果未来的产品或服务中。苹果AI/ML研究科学家Zhe
Gan在去年10月的一条推文中解释了Ferret的用途，称它可以”在图像中的任何位置、粒度上引用和定位任何物体”，并能够使用图像中的任何形状的区域来实现这一功能。

简而言之，Ferret可以检查图像上绘制的区域，识别其中的元素，并将其标识出来。然后，它可以将这些识别到的元素作为查询的一部分，并以通常的方式进行响应。例如，用户可以在图像中突出显示一只动物并询问其种类，Ferret可以识别出这只动物的种类，并了解用户指的是图像中的特定动物。它还可以利用图像中其他元素的上下文提供更多的信息。

Ferret的发布对于研究人员来说具有重要意义，表明苹果正在逐步开放其人工智能研究，这与其过去神秘封闭的形象形成了鲜明对比。此外，苹果还面临着基础设施方面的挑战。尽管苹果正在努力扩大其拥有的AI服务器数量，但与像ChatGPT等模型相比，其规模可能仍然不足。除了与其他公司合作扩展其能力之外，开源模型也是苹果正在探索的另一条途径。

一个有趣的细节是，Reddit的r/Apple版块发现Ferret “使用了8个带有80GB显存的A100
GPU进行训练”。考虑到苹果过去与英伟达GPU的支持关系，这被视为对英伟达的罕见认可。