多模态处理：人工智能改变广播

人工智能总监 José Carlos González 和 Julio Albertos，数据科学家，两者都是专门从事人工智能的咨询公司的一部分潜水，解释多模式处理如何重新思考流程并打开重要的创意和运营可能性之门。

人工智能已经进入西班牙广播公司的流程。仅仅几年前，技术经理们隐藏在集体责任背后并强调他们对人类工人的承诺的谨慎态度，已经被一种 欣快感 在某些工具取得显着成果后的集体。

与其他采用这一系列技术并在进入未知领域时保持谨慎态度的行业相比，广播人工智能仍然是视听生态系统中广泛传播的概念的演变： 自动化。是的，更加智能且几乎可预测的自动化，并且伴随着 自动生成 基于 海量数据的来源和使用合法性 他们仍然受到质疑。但是，归根结底，一个 流程和任务的自动化 通过数据的能力，这种情况已经发生很长时间了 机器学习。

何塞·卡洛斯·冈萨雷斯和胡里奥·阿尔伯托

举例来说，以下过程 元数据，其中第三方引擎由公司本身的智慧提供支持，以对人物、情境、地点甚至情感进行简化的编目。现在，这些工具通过对世界的全球“知识”加速了它们的实施。

顾问潜水他多年来一直与这样的公司合作 RTVE、RTL 或 STC 电视 从特定的角度来看待人工智能：它不仅研究智能模型和系统来解决市场挑战，而且还满足每个客户的需求，并确定人工智能如何打开新可能性的大门。在密切关注这些工具的演变之后， 何塞·卡洛斯·冈萨雷斯和胡里奥·阿尔伯托 他们详细阐述了一些可能或多或少与电视和制作专业人士相似的概念，但这些概念与人工智能合作，已经影响了该行业的日常生活： 多模态处理、3D 建模或索引。

迄今为止不可想象的新可能性

人工智能的发展是一条缓慢的道路，几十年来一直推动着研究团队和流行图像的发展。的干扰 生成模型伴随着愿意向这些应用程序开放其软件开发的行业，打开了迄今为止不可想象的功能之门：“管理、 后台办公室……以前需要人员 100% 投入的流程可以得到新模型的支持，新模型具有足够的认知来开始解决数字环境中的问题。”

“模型不会停止生成。技术发展正在以令人难以置信的速度发展，其可能性也在不断扩大，”阿尔贝托斯说，他将目光投向了以下领域： 布景设计与创作：“目前你可以用 3D 方式重建场景，几年后，当技术变得更便宜时，观众将能够选择他们的观点。这些概念在几年前是不可想象的，但现在正在令人难以置信地出现。”

Julio Albertos：“目前可以用 3D 方式重建布景，几年后，当技术变得更便宜时，观众将能够选择自己的视角。”

随着展会的公告，如 IBC 和 NAB 广泛致力于向客户传达人工智能进入其生态系统的好处，广播电台和电视台开始利用人工智能只是时间问题 潜在的 尚未被利用。从这个意义上说，冈萨雷斯认为该行业正在经历“加速度”他的道路是由系统打开的 转录、音频校正、字幕或翻译。

现在，这些内容生成能力扩展到了以下领域 信息处理和组织。这一切都归功于对话中将重复的一个概念： 多模式处理，借助它，运营商可以在广播运营中获取知识、处理和生成横向内容。

新工具还是现有工具的新版本？

为了适应广播的特殊性，供应商和制造商走过了一条路 能力提升 现有产品。将内部引擎与外部功能互连的 MAM 插件，或者对后期制作软件现有功能进行创造性改进，引导尚未迈出这一步的行业的第一步 构建工具 从头开始围绕生成模型。

José Carlos González：“市场上充斥着不受大型模型支持的人工智能解决方案。在我看来，该行业将开始统一。”

现在，他们会到达吗？广播行业是否会向 100% 基于生成式 AI 构建的内容管理器开放，无论是本地驱动还是外部驱动？ “这是整个行业都在问的问题。 ChatGPT、双子座或克劳德 “他们已经在努力丰富自己的功能，”冈萨雷斯解释道，他指出了全新一代的 初创公司 正在开始应用主要 具体发展中的人工智能模型：“市场上充斥着不受大型模型支持的人工智能解决方案。在我看来，这个行业将开始统一。针对特定用例的许多特定应用程序将继续出现，但控制大型模型的大型科技公司将最终占据主导地位。”

安全：信念的飞跃

广播公司希望通过服务器和内部处理来内部管理人工智能知识，这可能会给选择集成主要人工智能模型的制造商带来挑战。电视台提出的论点之一是维持 控制您自己的内容 如何满足不同 数据保护法规。

González：“大公司在遵守数据保护方面做得更好，但有时，使用这些技术时，你确实必须有信心的飞跃。”

“用户发送和接收信息。原则上，你看不到该问题或机密信息的去向。（...）该模型可以访问你传输的内容，但没有任何东西可以保证这些信息不会以某种方式渗透到外部，”González 说，并补充说一些公司已经提供了 认证数据保护的计划或服务 具体：“大公司可以更好地处理这种合规性，但确实，有时，使用这些技术时，你必须有信心的飞跃。”

然而，还有一些当地的替代方案。来自 Dive，他们与模特合作开源出版者元允许构建在客户端基础设施上运行的特定解决方案。然而，有必要评估计算成本、GPU 价格上涨或云服务成本等问题。因此， 由于盈利能力，“更安全”的替代方案有时会被放弃。：“通过外部提供商通过 API 提供的服务来使用外部提供商比拥有需要培训、部署、工业化和控制的特定模型要便宜得多。”

人工智能如何改变元数据

人工智能开始通过地下室进入广播领域。 González 的历史可以追溯到 2015 年，第一批流程的到来 元数据 具有以下功能 人工智能 在西班牙工业中，发动机基于 深度学习 并始终由操作员监督。这样，场景的分离、内容的识别或者信息的丰富就开始流行起来。

González：“我们已经从针对特定功能的复杂模型转变为可以以结构化方式提取所有信息的单一模型。”

这些发动机需要“大量培训”才能以“可接受的质量”运行。现在，最新人工智能模型的整合正在降低 可能的极限 在文档部门：“我们已经从拥有针对特定功能的复杂模型，转变为拥有可以以结构化方式提取所有信息的单一模型。”

这样，模型就可以提取 内容分钟数、讨论的主题、参与人员或广告块。此外，该过程可以在 即时的 取决于要构建的内容量。

3D 建模：数字孪生的可能性

生成式人工智能技术在广播环境中的另一个应用领域是创建 数字双胞胎 适用于连续剧场景和电视剧。此前，需要数十张图像来绘制空间地图，并在精度方面进行重要调整。现在，该流程已得到简化。

“生成空间并能够在三个维度上使用该内容所需的图像越来越少，无论是用于分析目的还是获得新的观点。（...）同时，您可以分割这些空间以区分椅子及其体积与人，以便您可以在视频处理模型中更轻松地跟踪拍摄对象。天空是这方面的限制，”Albertos 解释道。

这些发展基于以下模型： 神经射频 (神经辐射场） 哦 高斯泼溅，“远远超越”传统摄影测量技术。反过来，空间可以与 世界模特, 了解“世界、物理和任何环境”如何运作的人：“你可以要求模型重新创建一个在现实中很难找到的场景，”冈萨雷斯谈到一个甚至可以用于生成计划的系统时说道。 B 卷。

多模态处理：改变广播领域人工智能的概念

冈萨雷斯和阿尔贝托描述的许多过程都有一个共同点：结合的能力 不同的流程 y 丰富你的可能性 能够并行执行数十个任务 相互关联的数据 什么是 他们反馈。简而言之，诸如此类的概念 自然语言处理、计算机视觉或机器人技术 融合新的人工智能技术：“就像一个人从出生起就通过声音、视觉或触觉等所有感官进行学习一样，人工智能也因这种多维性和不同的数据源而变得更加丰富。”

González：“通过了解互联网上的所有文本，模型可以变得智能，但想象一下，如果您还对 YouTube 视频、社交网络或图像的所有信息和功能进行编码。从根本上来说，它了解人类如何工作以及我们正在生成哪些信息。”

没有多模态，或者 多模式处理、新的高级元数据和索引系统 技术上不可行：“通过添加这些功能，模型的认知能力大大提高。模型可以通过了解互联网上的所有文本而变得智能，但想象一下，如果您还对 YouTube 视频、社交网络或图像的所有信息和功能进行编码。从根本上来说，它了解人类如何工作以及我们正在生成哪些信息，”González 解释道。

阿尔伯托斯 以为例来解释这些模型的潜力，例如新的 马伦戈 3，和 尴尬的沉默：“你可以要求它在特定的广播中寻找它。以前这是不可能通过图像或声音单独搜索的。这两个部分的上下文就是导致沉默的原因。”

的下一步 多模态冈萨雷斯警告说，这将是 与世界的互动，将流程应用于机器人环境，不仅具有感知和处理信息的能力，而且还能够利用信息采取行动。