Vicomtech-IK4 实施自动生成语言内和语言间字幕的试点

在欧洲 HBB4ALL 项目的最后阶段，Vicomtech-IK4 实施了一项试点，将西班牙语内容自动添加字幕并翻译成英语。

自动字幕无需干预即可从输入音频生成字幕，这是一种日益流行的解决方案。然而，目前使用的系统仍然需要人工干预。

对于预先录制或半直播的内容，字幕通常是手动完成和启动的。

另一方面，对于直播内容，一些电视已经集成了自动语音识别技术，但始终使用重讲技术，即专业人员在受控声学环境中针对经过训练的识别器重述内容。这种替代方案涉及连续让众多专业人员每半小时轮班背诵他们在广播中听到的内容，以便系统识别画外音。这会带来相当大的延迟。

现在，技术中心维康科技-IK4 旨在在没有人工干预的情况下执行整个过程，加速自动生成原始语言字幕和翻译成第二语言的过程。

为了实现这一目标，Vicomtech 致力于两条技术路线：自动语音识别、自动字幕生成和自动统计翻译。

Vicomtech 多年来一直致力于开发基于自动语音识别技术的自动字幕技术，并在欧洲项目 HBB4ALL 中实施了实时英语广播内容自动字幕（语内字幕）的试点。此外，该试点项目还采用了实时自动翻译技术，使得这些字幕也可以用西班牙语使用，因为它们是从英语实时翻译而来的（跨语言字幕）。

除了提供用户选择的内容的替代内容之外，该技术还适应用户正在使用的设备的特性。这是通过自适应流技术实现的，该技术允许音频、视频和字幕流独立地适应终端设备的特性，例如设备的分辨率或连接的质量。

欧洲项目

这个名为 HBB4ALL 的欧洲项目由巴塞罗那自治大学牵头，由 12 个无障碍和多设备环境方面的专家组成，包括大学、电视频道、制作公司、研究中心和中小企业，旨在开发一种新技术，在无需人工干预的情况下加快直播内容的字幕速度。在合作伙伴中，除了 Vicomtech-IK4 之外，我们还可以重点介绍德国技术中心、IRT、Screen Subtidling Systems 或四家电视制作公司 RBB、RTP、TVC 和 SwisTXT 等。

该试点是欧洲项目的成果，Vicomtech-IK4 参与该项目，将无障碍技术集成到根据 HBBTV 标准制作的多媒体内容中，该技术是交互式电视技术，旨在将数字电视内容与网络内容合并。

具体来说，Vicomtech-IK4 集成了生成语言内（内容的原始语言）和国际语（翻译）字幕的技术，实时生成可以在任何设备（包括连接到互联网的电视）上使用的视频流。所有这一切都是为了给观众添加新的体验和环境。

语内字幕生成技术是 Vicomtech-IK4 领导的欧洲 SAVAS 项目的成果，该项目旨在开发 7 种欧洲语言的自动字幕技术。同样，自动字幕翻译技术也来自同样由Vicomtech-IK4主导的另一个欧洲项目——SUMAT项目。

法律框架

应该指出的是，对自动字幕的高度需求是一个现实，因为 2010 年欧洲视听法影响到所有成员国，根据该法，有义务逐步增加字幕内容，直至达到 90%。目前，这一百分比尚未达到，该法律的目标是在 2013 年实现这一目标，但现实是，到目前为止，市场上还没有任何技术可以帮助自动和实时字幕。尽管今天不遵守这项法律不会受到惩罚，但内容的可访问性是一个悬而未决的问题，总有一天，所有内容都必须可访问，否则，制裁将开始。因此，技术对于帮助自动创建字幕至关重要。

近年来，视听无障碍立法变得越来越严格。根据《欧洲视听通信服务指令》第 7 条，成员国一直在采取必要措施，确保其管辖范围内的视听提供商的服务逐渐可供听力或视力障碍人士使用。

根据欧洲指令，议会于 2010 年最终批准了新的国家级视听传播普通法，首次对所有电视运营商规定了内容无障碍义务。具体而言，既定的无障碍措施影响了字幕、音频描述和手语领域。

尽管存在这项法律，但如今绝大多数电视频道在必须以无障碍信息播放的内容百分比方面未能遵守这些义务（字幕超过 90%）。