微软推出 Azure AI 内容安全服务：帮助用户检测和过滤有害的 AI 和用户生成的内容

10月19日消息: 微软宣布全面推出 Azure AI Content Safety 内容安全，这是一项新服务，可帮助用户跨应用程序和服务检测和过滤有害的 AI 和用户生成的内容。

该服务包括文本和图像检测功能，可以识别微软所称的冒犯、风险或不受欢迎的内容，包括亵渎、成人内容、血腥暴力和某些类型的言论。

通过关注内容安全，我们可以创建一个更安全的数字环境，促进 AI 的负责任使用，并保护个人和整个社会的福祉，Azure Anomaly Detector 产品经理 Louise Han 在一篇博文中宣布了该服务的推出。

Azure AI Content Safety 具备处理各种内容类别、语言和威胁的能力，可以对文本和视觉内容进行审查和调节。它还提供了使用 AI 算法扫描、分析和调节视觉内容的图像功能，确保了微软所称的 360 度全面的安全措施。

该服务还可以在多种语言中进行内容审查，并使用严重性指标来评估特定内容的严重程度，该指标的范围从 0 到 7。

0-1 级的内容被认为是安全且适合所有受众的，而表达偏见、带有评判性或有意见的内容被评为 2-3 级，即低级别。

中等严重性的内容被评为 4-5 级，其中包含冒犯、侮辱、嘲笑、恐吓语言或针对身份群体的明确攻击，而高严重性的内容被评为 6-7 级，其中包含有害行为的宣传、支持或美化对身份群体的极端有害活动。

Azure AI Content Safety 还使用多类别过滤器来识别和分类多个关键领域的有害内容，包括仇恨、暴力、自残和性内容。

[在网络安全方面]，不仅需要考虑人类生成的内容，尤其是随着 AI 生成的内容变得普遍，确保 AI 生成的输出材料的准确性、可靠性和无害或不适当的材料至关重要。内容安全不仅保护用户免受错误信息和潜在危害，还维护了伦理标准，并建立了对 AI 技术的信任，Han 写道。

Azure AI Content Safety 的定价基于按需付费。有兴趣的用户可以在 Azure AI Content Safety 定价页面（https://azure.microsoft.com/en-us/pricing/details/cognitive-services/content-safety/）上查看定价选项。