内容安全配置
在控制台中为应用配置内容安全：维护词库、接入第三方审核服务、设置自动处罚，并处理审核记录和用户举报。内容安全检查哪些内容、在什么时候检查、对接口和客户端有什么影响，见内容安全。
内容安全的功能在两个地方：
- 应用详情的“内容安全”标签页，按应用设置和处理，分为“配置”“词库”“试一试”“审核记录”“平台处置”“用户违规”和“统计”；
- 左侧菜单的“审核账号”，管理租户的第三方审核账号，租户下的各个应用共用。
谁可以使用
审核记录、举报和违规涉及用户的聊天内容，只开放给 owner 和 admin：
| 操作 | owner | admin | developer |
|---|---|---|---|
| 查看配置、词库和统计，使用“试一试” | ✓ | ✓ | ✓ |
| 修改配置，创建、修改、删除词库，添加和删除词条 | ✓ | ✓ | |
| 查看、添加、修改、停用、删除和验证审核账号 | ✓ | ✓ | |
| 查看审核记录和举报、查看内容、作出结论、转交平台，查看平台处置 | ✓ | ✓ | |
| 查看和清除用户的违规记录 | ✓ | ✓ |
developer 打开“内容安全”时只能看到“配置”“词库”“试一试”和“统计”，不能修改；左侧菜单中没有“审核账号”。
添加、修改（包括停用和启用）和删除审核账号前要重新验证身份，验证账号不需要。查看审核记录的内容不需要重新验证，但每次查看都写入操作日志。
开始使用
新应用的默认状态：平台规则生效；你的规则对全部场景启用，但还没有词库，不会拦截任何内容；不送第三方审核；不自动处罚；允许客户端举报。一般按以下步骤开始：
- 在“词库”中新建词库并添加词条，见词库；
- 在“试一试”中输入几段文本，确认命中和替换的结果符合预期；
- 需要识别图片、语音、视频，或更准确地识别文本时，在“审核账号”中添加账号，再在“配置”中为应用选择账号、为需要的场景开启第三方审核，见第三方审核；
- 需要时在“配置”中添加自动处罚规则；
- 日常在“审核记录”中处理送审的内容和用户举报。
配置
“配置”标签页显示应用当前的审核配置，owner 和 admin 可以修改。修改后点击“保存”，各服务器通常在 1 秒内、最迟 30 秒内生效；点击“撤销修改”放弃尚未保存的修改。如果保存时提示数据已被其他人修改，说明在你打开页面之后有人修改过配置，页面会重新读取最新的配置，请重新修改。
平台的设置
“平台的设置（只读）”显示平台对本应用的设置，你不能修改：
| 项目 | 说明 |
|---|---|
| 平台规则 | 平台词库和平台强制处理的类别对应用内的全部内容生效，命中的内容由平台审核和处置 |
| 平台账号每天审核的次数 | 平台为本应用做第三方审核时，每天最多的次数，0 为不限。超出后当天只按词库检查 |
| 平台强制处理的类别 | 第三方审核结果中由平台规则处理的类别，默认为涉政、暴恐、色情 |
| 平台为本应用做的第三方审核 | 平台用平台的账号为本应用审核的场景和方式。显示“无”时只用平台词库 |
平台账号的审核次数计入应用的用量，按套餐计费，见计量项；使用你自己的审核账号的不计入，由你与服务商结算。
各场景的检查
每个场景一行，场景的含义见审核的内容和时机：
| 列 | 说明 |
|---|---|
| 租户规则 | 关闭后这个场景只按平台规则检查，你的词库和第三方审核都不再用于这个场景 |
| 文本送第三方审核 | “不送审”“同步”或“事后”。同步：在发送或保存之前调用，受等待时限限制；事后：发出后审核，违规的撤回。“事后”只用于消息和聊天室消息；上传的文件和聊天室属性只按词库检查，显示“不支持” |
| 媒体送第三方审核 | 图片、语音、视频的审核方式。“同步”只用于用户资料和群资料的头像；“事后”只用于消息、聊天室消息和上传的文件 |
| 服务端提交的内容也检查 | 默认你的服务端（OpenAPI）和控制台提交的内容只按平台规则检查；打开后同时按你的规则检查，见服务端提交的内容。聊天室属性不支持 |
| 平台的第三方审核 | 平台为这个场景做的第三方审核，只读 |
第三方审核
| 项目 | 说明 |
|---|---|
| 审核账号 | 本应用使用的租户审核账号。选择“不用租户的账号”时只使用平台为本应用开启的第三方审核。任何场景开启了第三方审核时都必须选择账号，否则保存时提示“开启第三方审核必须选择本租户的审核账号”。已停用的账号不能选择 |
| 同步审核的等待时限 | 同步调用第三方审核时最多等待的时间，200 到 2000 毫秒，默认 800 毫秒 |
| 超时、出错或账号不可用时 | “放行”（默认）：放行的内容之后再补审一次；“拒绝”：拒绝这次发送或保存，details.reason 为 check_timeout，不计入用户的违规 |
聊天室消息的检查只有 200 毫秒，超时一律放行并补审。平台账号的每秒额度或每天的次数不足时同样直接放行，不按这里的设置拒绝。
“第三方审核结果的处理（按类别）”表格按类别设置第三方审核结果的处理：
| 列 | 可选的处理 |
|---|---|
| 建议拦截时 | “拒绝”（默认）：同步检查中拒绝写入，事后审核中自动撤回或屏蔽并计入作者的违规；“送审”：照常写入，进入审核记录等待人工审核 |
| 建议人工审核时 | “送审”（默认）；“不处理”：照常写入，不生成审核记录 |
标有“平台强制”的类别由平台规则处理，这里的设置对它们不起作用。
自定义消息
自定义消息（custom）的 body 由你定义。“检查 body 中的全部字符串”（默认）时检查其中每个字符串值；选择“不检查”时自定义消息不做文本检查。ext 始终不检查。
自动处罚
点击“添加规则”添加自动处罚规则，最多 5 条，没有规则时不自动处罚。每条规则：
| 项目 | 说明 |
|---|---|
| 时间窗口 | “N 小时内”，1 到 720 小时 |
| 违规次数 | “违规 N 次”，1 到 1000 次 |
| 类别 | 勾选“全部类别”统计全部违规；否则只统计选中的类别 |
| 处罚 | “禁言”：选择单聊、群聊、聊天室中的一个或多个范围；“封禁” |
| 时长 | 选择时长或“永久”，最长 10 年 |
每次记下违规后，逐条统计时间窗口内的违规次数，达到次数、且这条规则在这个时间窗口内还没有处罚过这个用户时执行。处罚以你的应用的身份执行，可以在“IM 用户”中解除，见用户、群组、聊天室与消息。哪些情况计入违规，见违规记录与自动处罚。
词库
“词库”标签页列出应用的全部词库。所有成员可以查看词库和词条；owner 和 admin 可以点击“新建词库”，在列表中启用或停用、修改和删除词库。每个应用最多 20 个词库。
新建词库时填写：
| 字段 | 说明 |
|---|---|
| 名称 | 1 到 64 个字符，如“广告导流” |
| 种类 | “屏蔽词库”或“放行词库”，创建后不能修改。放行词用来消除误判：命中的屏蔽词完全落在一个更长的放行词之内时不算 |
| 命中时 | 屏蔽词库的处理方式：“拒绝”“替换为 *”或“送审” |
| 匹配方式 | “包含”：文本中出现这个词即命中；“完全相同”：整段文本规范化后与词条相同才命中，用于保留的昵称（如“官方客服”）。放行词库只能用“包含” |
| 类别 | 命中时记入审核记录和违规的类别 |
| 启用 | 停用的词库不参与匹配，词条保留 |
| 适用的场景 | 勾选“适用于全部场景”，或选择一个或多个场景 |
点击词库的名称或“词条”打开词条列表：
- 词条是规范化之后的结果，原样是添加时提交的文本。可以按规范化后的前缀搜索；
- 批量添加：每行一个词条，一次最多 1000 个。添加后显示新增、重复（规范化后与已有的相同）和不合法（太短、太长、含控制字符）的数量和词条。屏蔽词规范化后为 2 到 32 个字符，放行词为 2 到 64 个字符；
- 批量删除：每行一个词条，原样或规范化后的都可以；也可以在列表中勾选后点击“删除选中的”。
单个词库最多 10000 个词条，应用合计最多 50000 个。规范化的规则和放行词的用法见词库。删除词库时其中的词条一并删除，不能恢复。
试一试
“试一试”按应用当前的全部规则检查一段文本，用来在修改词库后立即验证。它不生成审核记录和违规，不计入统计。所有成员都可以使用，每个控制台账号每分钟最多 60 次。
| 项目 | 说明 |
|---|---|
| 场景 | 按这个场景适用的词库和设置检查 |
| 一段文本、多个字段 | 检查一段文本，或同时检查最多 10 个字段（如群资料的 name、description、announcement） |
| 同时调用第三方审核 | 按这个场景的设置同步调用第三方审核，没有开启的场景不调用。调用会计入服务商的用量和费用 |
结果显示通过、拒绝或替换（替换时显示替换后的文本），第三方审核的建议和类别，以及命中的词库、类别、处理方式、命中的词和位置。平台词库的命中只显示“平台规则”和类别，不显示命中的词。
审核账号
左侧菜单“审核账号”管理租户自己的第三方审核账号，只有 owner 和 admin 可以查看和管理。账号由租户下的各个应用共用，在应用的“内容安全 → 配置”中选择后才会使用。费用由你直接与服务商结算。每个租户最多 5 个账号。
点击“添加账号”，填写：
| 字段 | 说明 |
|---|---|
| 名称 | 1 到 64 个字符，如“阿里云-生产” |
| 服务商 | 列表中可以选择的服务商，创建后不能修改 |
| 地域 | 决定调用服务商的地址，可选的值见下表。服务地址由服务商和地域确定，不能自行填写 |
| 每秒最多调用 | 1 到 1000 次，默认 20，按服务商给你的额度填写 |
| AccessKey ID | 服务商的访问密钥 ID，最多 128 个字符 |
| AccessKey Secret | 服务商的访问密钥 |
| 服务商的其他设置 | 服务商特有的非敏感设置，键和值，可选的键见下表 |
| 服务商 | 地域 | 访问密钥 | 其他设置 |
|---|---|---|---|
| 阿里云内容安全 | cn-shanghai、cn-beijing、cn-hangzhou、cn-shenzhen、cn-chengdu、ap-southeast-1 | AccessKey ID 和 AccessKey Secret | 可选 text_service、image_service、audio_service、video_service：替换默认使用的服务，如你在阿里云控制台复制的服务。默认文本为 chat_detection（消息和聊天室消息）和 comment_detection（其他场景），图片为 baselineCheck，语音为 audio_media_detection，视频为 videoDetection |
| 腾讯云天御 | ap-guangzhou、ap-shanghai、ap-beijing、ap-singapore | SecretId 和 SecretKey | 可选 biz_type（各类审核共用的策略），以及 text_biz_type、image_biz_type、audio_biz_type、video_biz_type（按类型替换 biz_type）；都不填时使用腾讯云的默认策略 |
| 网易易盾 | 留空或 cn-hangzhou | SecretId 和 SecretKey | 易盾控制台中各类检测的 BusinessId：text_business_id、image_business_id 必填；用到语音、视频时还要填写 audio_business_id、video_business_id |
其他设置的值为 1 到 64 个字母、数字或下划线（易盾的 BusinessId 另外允许短横线）。
保存前用一段固定的无害文本调用一次服务商，验证失败的不保存，提示服务商返回的错误码。访问密钥加密保存，之后任何页面和接口都不显示，列表中的 AccessKey ID 只显示前 4 位和后 4 位。
在账号列表中可以：
- 修改：修改名称、地域、每秒调用次数和其他设置。AccessKey ID 和密钥留空表示不修改，填写了任何一个都会重新验证服务商；
- 验证：用固定的无害文本调用一次服务商，结果显示在“最近验证”一列。调用服务商时遇到密钥错误、余额不足等问题，同样在这一列显示错误；
- 停用、启用：停用后，使用它的应用的第三方审核按账号不可用处理：同步检查按应用的“超时、出错或账号不可用时”放行或拒绝，事后审核不做；
- 删除：密钥随之删除，不能恢复。“使用的应用”中还有应用的账号不能删除，请先在这些应用的配置中改用其他账号或“不用租户的账号”。
审核记录
“审核记录”列出本应用需要人工处理的内容：送审的命中、事后审核自动处置的内容和用户举报。默认只列出未结束的记录（待审核、已自动处置），按优先级、再按时间从新到旧排列。
可以按状态、场景、对象、类别、来源（词库、第三方审核、举报）、作者的用户名和创建时间筛选；勾选“旧的在前”改为从旧到新，处理积压时使用；勾选“转交平台的”列出本应用转交平台的记录，只能查看状态。
| 列 | 说明 |
|---|---|
| 优先级 | “最高”：含平台强制处理的类别，或原因为诈骗、涉政、暴恐、涉及未成年人的举报；“高”：已自动处置，或 3 人以上举报；其余为“普通” |
| 状态 | “待审核”“已自动处置”（等待确认）“违规”“无违规”“已结束”。已结束的记录可以查看结束的原因：超过 30 天未处理、已并入平台的记录、对象已删除 |
| 场景、对象 | 被审核的内容，如消息、用户资料、群昵称、文件；举报的对象还有用户、群、聊天室 |
| 作者 | 发出这条内容的用户。你的服务端提交的内容、被举报的群和聊天室没有作者 |
| 类别、来源、举报 | 命中的类别，来源（词库、第三方审核、举报、地址无法审核、转交平台），举报人数 |
同一个对象同时只有一条未结束的记录，之后的命中和举报都归到这一条上。
查看内容
列表和记录都不含用户的内容。点击一行打开记录，在“内容与举报”中点击“查看内容”读取内容和举报：
- 内容是第一次被发现时的快照。之后消息被撤回、资料被修改，看到的仍是当时的内容；消息被编辑过、资料被改过的，另外列出之后的版本；
- 举报列出举报人、原因、说明、证据消息和举报的方式（客户端或服务端代举报）；
- 图片、语音、视频提供 10 分钟内有效的查看地址。用户提交的外部地址不会自动加载，确认后才打开，打开后对方的服务器会看到你的 IP 地址；被平台规则屏蔽的文件不提供查看；
- 每次查看都写入操作日志（
moderation.content_view），每个账号每分钟最多查看 120 次； - 记录结束 30 天后内容被清空，只能查看记录和处置。
作出结论
在记录的“作出结论”中选择：
- 确认违规：可以同时选择处置，并选择是否“计入作者的违规”（默认计入；作者被盗号等情况可以不计）；
- 无违规：结束记录。
可以选择的处置：
| 对象 | 处置 |
|---|---|
| 消息、聊天室消息 | 撤回消息、撤回聊天室消息；屏蔽文件（默认为消息中全部本应用的文件，也可以填写文件 ID） |
| 文件 | 屏蔽文件 |
| 用户资料、群昵称、被举报的用户 | 清除资料：选择要清除的字段，不选时清除全部被审核的字段 |
| 群资料、被举报的群 | 清除资料、封禁群 |
| 聊天室资料、被举报的聊天室 | 清除资料、封禁聊天室 |
| 聊天室属性 | 删除聊天室属性 |
| 有作者的内容、被举报的用户 | 禁言作者（选择范围和时长）、封禁作者（选择时长） |
入群申请和好友申请的附言、理由不能清除，只能禁言或封禁作者。清除资料只在字段仍是当时被审核的值时清除，用户之后改过的不受影响。处置在提交后执行，稍后刷新可以在“这条记录引起的处置”中看到结果：待执行、已执行、已跳过（如对象已被删除、消息已被撤回）或失败。
已自动处置的记录确认违规时不重复处置、不重复计入违规，只执行这次另外选择的处置。
改判：确认违规后 30 天内可以改为无违规：删除这条记录引起的、按你的规则记下的违规，解除它屏蔽的文件。已撤回的消息不能恢复，已执行的禁言和封禁不会自动解除，请在“IM 用户”中手动解除。判定为无违规的记录不能再改为违规；发现新的违规时等新的命中或举报。
批量作出结论：在列表中勾选当前页还没有结论的记录，点击“批量作出结论”，一次最多 100 条，用于处理一批刷屏的广告。批量结论只能选择处置内容（撤回、屏蔽文件、清除资料、删除属性），不能禁言和封禁；每条记录分别处理，已被别人作出结论的记录会失败。
两个人同时处理一条记录时，后提交的会提示记录已被修改，并显示最新的状态。
转交平台
认为内容可能违法、需要平台处理时，在记录中点击“转交平台”，可以填写说明。转交后记录由平台审核人员处理，你在“转交平台的”中能看到状态，但不能再作出结论。平台审核人员也可能直接处理本应用的审核记录，平台作出的结论只有平台能改判。
平台处置
“平台处置”列出平台规则命中后以平台的身份对本应用执行的处置：撤回消息、屏蔽文件、封禁等，显示对象、类别、处置、状态和时间，不含内容。平台撤回的消息由平台留证，平台屏蔽的文件和平台的封禁你不能解除。
用户违规
在“用户违规”中输入用户名查询：
- 违规次数：用户当前的违规次数，参与自动处罚规则；
- 最近的处罚：自动处罚和人工结论中的禁言、封禁，以及范围、时长、原因和状态；
- 违规记录：每次违规的时间、场景、类别、来源（同步检查拒绝、事后审核自动处置、人工确认）、规则（平台或租户）和对应的审核记录。
点击“清除租户规则的违规”删除这个用户按你的规则记下的全部违规，违规次数相应减少，例如确认他的账号曾被盗用。平台规则的违规保留，已执行的禁言和封禁不会解除。违规记录保留 180 天。
统计
“统计”按天、按场景显示内容安全的数据，一次最多查询 90 天，可以按场景筛选。日期按北京时间划分，数字最多落后 5 分钟。
| 指标 | 说明 |
|---|---|
| 检查 | 检查的次数 |
| 拒绝、替换、送审 | 结果为拒绝、替换、送审的次数 |
| 自动处置 | 事后审核自动撤回或屏蔽的次数 |
| 第三方审核 | 调用第三方审核的次数，括号中为其中使用平台账号的次数 |
| 命中缓存 | 图片、语音、视频命中已有的审核结果、没有调用服务商的次数 |
| 审核失败 | 调用第三方审核失败的次数 |
| 同步超时 | 同步审核超时的次数 |
| 超出额度未审 | 超出每分钟的事后审核速率或平台账号每天的次数，只按词库检查的次数 |
| 举报 | 举报的次数 |
页面顶部另外显示待审核的记录数和最早一条已等待的时间（不含转交平台的记录）。
操作日志
内容安全的操作写入操作日志：
| 操作类型 | 说明 |
|---|---|
moderation.config_update | 修改配置 |
moderation.word_list_create、moderation.word_list_update、moderation.word_list_delete | 创建、修改、删除词库 |
moderation.words_add、moderation.words_remove | 添加、删除词条，变更内容中列出词条 |
moderation.provider_account_create、moderation.provider_account_update、moderation.provider_account_delete、moderation.provider_account_verify | 添加、修改、删除、验证审核账号，不含密钥 |
moderation.content_view | 查看审核记录的内容，只记录查看了哪条记录 |
moderation.item_decide、moderation.item_escalate | 作出结论、转交平台 |
moderation.violations_clear | 清除用户的违规 |
自动处置和自动处罚由执行它们的功能以系统的身份记录，如撤回消息、封禁用户；人工结论引起的处置，操作人为作出结论的人。