Akamai 推出 Cloud Inference，这是一种减少基于 AI 的服务延迟的解决方案

阿卡迈 Cloud Inference 的诞生目标是为寻求将基于人工智能的预测和大型语言模型 (LLM) 变为现实的组织开启一个“更快、更高效的创新时代”。

新的解决方案 阿卡迈 提供工具 平台工程师和开发人员 构建并执行 人工智能应用 y 具有大量数据的工作负载 更接近最终用户，提供“3 倍更好”的性能，并将延迟减少高达 2.5 倍。借助新的解决方案，公司最多可以节省 86% 的人工智能推理能力 y 代理 AI 工作负载 相比于 传统的超大规模基础设施。

Akamai Cloud Inference 涵盖广泛的 计算，拥有经典CPU和定制ASIC VPU，以及与Nvidia企业AI生态系统的深度集成，受益于Triton、Tao Toolkit、TensorRT和NvFlare。在数据管理方面，Akamai 与 VAST Data 合作，提供对数据的简化访问 实时数据 加速推理相关任务，这对于提供相关结果和响应式体验至关重要。通过这种方式，该公司可以安全地存储来自微调模型和训练元素的数据，以在全球范围内提供低延迟的人工智能推理。

该系统的另一个关键要素是 集装箱化 AI 工作负载可实现按需自动扩展、提高应用程序弹性和混合多云可移植性，同时优化性能和成本。借助 Kubernetes，Akamai 可以提供“更快、更便宜、更安全”的具有 PB 级性能的 AI 推理。此外，为了简化开发人员创建基于 AI 的应用程序的方式，Akamai AI Inference 还包含以下功能 网络组装 (WASM) 允许开发人员直接运行 LLM 推理 来自无服务器应用程序，因此客户可以在边缘运行轻量级代码以启用对延迟敏感的应用程序。

这些工具共同创建了一个平台 低延迟和人工智能驱动的应用程序 这使得公司能够提供用户所需的体验。 Akamai Cloud Inference 运行在 大规模分布式企业网络，能够持续为数据密集型工作负载提供每秒超过 1 PB 的性能。

弗朗西斯科·阿尔诺Akamai 西班牙和葡萄牙副总裁解释了这一新解决方案的关键概念：“创建法学硕士就像创建地图：需要收集数据、分析地形和绘制路线。速度很慢，而且消耗大量资源，但一旦构建起来就非常有用。AI 推理就像使用 GPS：它会立即应用这些知识，实时重新计算并适应变化，将您带到您需要的地方。推理是 AI 的下一个前沿。”