內容安全配置

在控制檯中為應用配置內容安全：維護詞庫、接入第三方稽核服務、設定自動處罰，並處理稽核記錄和使用者舉報。內容安全檢查哪些內容、在什麼時候檢查、對介面和客戶端有什麼影響，見內容安全。

內容安全的功能在兩個地方：

• 應用詳情的“內容安全”標籤頁，按應用設定和處理，分為“配置”“詞庫”“試一試”“稽核記錄”“平臺處置”“使用者違規”和“統計”；
• 左側選單的“稽核賬號”，管理租戶的第三方稽核賬號，租戶下的各個應用共用。

誰可以使用

稽核記錄、舉報和違規涉及使用者的聊天內容，只開放給 owner 和 admin：

操作	owner	admin	developer
檢視配置、詞庫和統計，使用“試一試”	✓	✓	✓
修改配置，建立、修改、刪除詞庫，新增和刪除詞條	✓	✓
檢視、新增、修改、停用、刪除和驗證稽核賬號	✓	✓
檢視稽核記錄和舉報、檢視內容、作出結論、轉交平臺，檢視平臺處置	✓	✓
檢視和清除使用者的違規記錄	✓	✓

developer 開啟“內容安全”時只能看到“配置”“詞庫”“試一試”和“統計”，不能修改；左側選單中沒有“稽核賬號”。

新增、修改（包括停用和啟用）和刪除稽核賬號前要重新驗證身份，驗證賬號不需要。檢視稽核記錄的內容不需要重新驗證，但每次檢視都寫入操作日誌。

開始使用

新應用的預設狀態：平臺規則生效；你的規則對全部場景啟用，但還沒有詞庫，不會攔截任何內容；不送第三方稽核；不自動處罰；允許客戶端舉報。一般按以下步驟開始：

1. 在“詞庫”中新建詞庫並新增詞條，見詞庫；
2. 在“試一試”中輸入幾段文字，確認命中和替換的結果符合預期；
3. 需要識別圖片、語音、影片，或更準確地識別文字時，在“稽核賬號”中新增賬號，再在“配置”中為應用選擇賬號、為需要的場景開啟第三方稽核，見第三方稽核；
4. 需要時在“配置”中新增自動處罰規則；
5. 日常在“稽核記錄”中處理送審的內容和使用者舉報。

配置

“配置”標籤頁顯示應用當前的稽核配置，owner 和 admin 可以修改。修改後點選“儲存”，各伺服器通常在 1 秒內、最遲 30 秒內生效；點選“撤銷修改”放棄尚未儲存的修改。如果儲存時提示資料已被其他人修改，說明在你開啟頁面之後有人修改過配置，頁面會重新讀取最新的配置，請重新修改。

平臺的設定

“平臺的設定（只讀）”顯示平臺對本應用的設定，你不能修改：

專案	說明
平臺規則	平臺詞庫和平臺強制處理的類別對應用內的全部內容生效，命中的內容由平臺稽核和處置
平臺賬號每天稽核的次數	平臺為本應用做第三方稽核時，每天最多的次數，0 為不限。超出後當天只按詞庫檢查
平臺強制處理的類別	第三方稽核結果中由平臺規則處理的類別，預設為涉政、暴恐、色情
平臺為本應用做的第三方稽核	平臺用平臺的賬號為本應用稽核的場景和方式。顯示“無”時只用平臺詞庫

平臺賬號的稽核次數計入應用的用量，按套餐計費，見計量項；使用你自己的稽核賬號的不計入，由你與服務商結算。

各場景的檢查

每個場景一行，場景的含義見稽核的內容和時機：

列	說明
租戶規則	關閉後這個場景只按平臺規則檢查，你的詞庫和第三方稽核都不再用於這個場景
文字送第三方稽核	“不送審”或“事後”：發出、儲存之後稽核，違規的撤回或清除。上傳的檔案和聊天室屬性只按詞庫檢查，顯示“不支援”
媒體送第三方稽核	圖片、語音、影片的稽核方式：“事後”用於訊息、聊天室訊息、上傳的檔案和使用者資料、群資料的頭像
服務端提交的內容也檢查	預設你的服務端（OpenAPI）和控制檯提交的內容只按平臺規則檢查；開啟後同時按你的規則檢查，見服務端提交的內容。聊天室屬性不支援
平臺的第三方稽核	平臺為這個場景做的第三方稽核，只讀

第三方稽核

專案	說明
稽核賬號	本應用使用的租戶稽核賬號。選擇“不用租戶的賬號”時只使用平臺為本應用開啟的第三方稽核。任何場景開啟了第三方稽核時都必須選擇賬號，否則儲存時提示“開啟第三方稽核必須選擇本租戶的稽核賬號”。已停用的賬號不能選擇

第三方稽核只在發出、儲存之後進行，傳送和儲存不等待服務商。平臺賬號的每秒額度不足時，稽核任務排隊等待；每天的次數用完後當天只按詞庫檢查。

“第三方稽核結果的處理（按類別）”表格按類別設定第三方稽核結果的處理：

列	可選的處理
建議攔截時	“拒絕”（預設）：同步檢查中拒絕寫入，事後稽核中自動撤回或遮蔽並計入作者的違規；“送審”：照常寫入，進入稽核記錄等待人工稽核
建議人工稽核時	“送審”（預設）；“不處理”：照常寫入，不生成稽核記錄

標有“平臺強制”的類別由平臺規則處理，這裡的設定對它們不起作用。

自定義訊息

自定義訊息（custom）的 body 由你定義。“檢查 body 中的全部字串”（預設）時檢查其中每個字串值；選擇“不檢查”時自定義訊息不做文字檢查。ext 始終不檢查。

自動處罰

點選“新增規則”新增自動處罰規則，最多 5 條，沒有規則時不自動處罰。每條規則：

專案	說明
時間視窗	“N 小時內”，1 到 720 小時
違規次數	“違規 N 次”，1 到 1000 次
類別	勾選“全部類別”統計全部違規；否則只統計選中的類別
處罰	“禁言”：選擇單聊、群聊、聊天室中的一個或多個範圍；“封禁”
時長	選擇時長或“永久”，最長 10 年

每次記下違規後，逐條統計時間視窗內的違規次數，達到次數、且這條規則在這個時間視窗內還沒有處罰過這個使用者時執行。處罰以你的應用的身份執行，可以在“IM 使用者”中解除，見使用者、群組、聊天室與訊息。哪些情況計入違規，見違規記錄與自動處罰。

詞庫

“詞庫”標籤頁列出應用的全部詞庫。所有成員可以檢視詞庫和詞條；owner 和 admin 可以點選“新建詞庫”，在列表中啟用或停用、修改和刪除詞庫。每個應用最多 20 個詞庫。

新建詞庫時填寫：

欄位	說明
名稱	1 到 64 個字元，如“廣告導流”
種類	“遮蔽詞庫”或“放行詞庫”，建立後不能修改。放行詞用來消除誤判：命中的遮蔽詞完全落在一個更長的放行詞之內時不算
命中時	遮蔽詞庫的處理方式：“拒絕”“替換為 *”或“送審”
匹配方式	“包含”：文字中出現這個詞即命中；“完全相同”：整段文字規範化後與詞條相同才命中，用於保留的暱稱（如“官方客服”）。放行詞庫只能用“包含”
類別	命中時記入稽核記錄和違規的類別
啟用	停用的詞庫不參與匹配，詞條保留
適用的場景	勾選“適用於全部場景”，或選擇一個或多個場景

點選詞庫的名稱或“詞條”開啟詞條列表：

• 詞條是規範化之後的結果，原樣是新增時提交的文字。可以按規範化後的字首搜尋；
• 批次新增：每行一個詞條，一次最多 1000 個。新增後顯示新增、重複（規範化後與已有的相同）和不合法（太短、太長、含控制字元）的數量和詞條。遮蔽詞規範化後為 2 到 32 個字元，放行詞為 2 到 64 個字元；
• 批次刪除：每行一個詞條，原樣或規範化後的都可以；也可以在列表中勾選後點選“刪除選中的”。

單個詞庫最多 10000 個詞條，應用合計最多 50000 個。規範化的規則和放行詞的用法見詞庫。刪除詞庫時其中的詞條一併刪除，不能恢復。

試一試

“試一試”按應用當前的全部規則檢查一段文字，用來在修改詞庫後立即驗證。它不生成稽核記錄和違規，不計入統計。所有成員都可以使用，每個控制檯賬號每分鐘最多 60 次。

專案	說明
場景	按這個場景適用的詞庫和設定檢查
一段文字、多個欄位	檢查一段文字，或同時檢查最多 10 個欄位（如群資料的 name、description、announcement）
同時呼叫第三方稽核	按這個場景的設定呼叫第三方稽核，沒有開啟的場景不呼叫。呼叫會計入服務商的用量和費用

結果顯示透過、拒絕或替換（替換時顯示替換後的文字），第三方稽核的建議和類別，以及命中的詞庫、類別、處理方式、命中的詞和位置。平臺詞庫的命中只顯示“平臺規則”和類別，不顯示命中的詞。

稽核賬號

左側選單“稽核賬號”管理租戶自己的第三方稽核賬號，只有 owner 和 admin 可以檢視和管理。賬號由租戶下的各個應用共用，在應用的“內容安全 → 配置”中選擇後才會使用。費用由你直接與服務商結算。每個租戶最多 5 個賬號。

點選“新增賬號”，填寫：

欄位	說明
名稱	1 到 64 個字元，如“阿里雲-生產”
服務商	列表中可以選擇的服務商，建立後不能修改
地域	決定呼叫服務商的地址，可選的值見下表。服務地址由服務商和地域確定，不能自行填寫
每秒最多呼叫	1 到 1000 次，預設 20，按服務商給你的額度填寫
AccessKey ID	服務商的訪問金鑰 ID，最多 128 個字元
AccessKey Secret	服務商的訪問金鑰
服務商的其他設定	服務商特有的非敏感設定，鍵和值，可選的鍵見下表

服務商	地域	訪問金鑰	其他設定
阿里雲內容安全	cn-shanghai、cn-beijing、cn-hangzhou、cn-shenzhen、cn-chengdu、ap-southeast-1	AccessKey ID 和 AccessKey Secret	可選 text_service、image_service、audio_service、video_service：替換預設使用的服務，如你在阿里雲控制檯複製的服務。預設文字為 chat_detection（訊息和聊天室訊息）和 comment_detection（其他場景），圖片為 baselineCheck，語音為 audio_media_detection，影片為 videoDetection
騰訊雲天御	ap-guangzhou、ap-shanghai、ap-beijing、ap-singapore	SecretId 和 SecretKey	可選 biz_type（各類稽核共用的策略），以及 text_biz_type、image_biz_type、audio_biz_type、video_biz_type（按型別替換 biz_type）；都不填時使用騰訊雲的預設策略
網易易盾	留空或 cn-hangzhou	SecretId 和 SecretKey	易盾控制檯中各類檢測的 BusinessId：text_business_id、image_business_id 必填；用到語音、影片時還要填寫 audio_business_id、video_business_id

其他設定的值為 1 到 64 個字母、數字或下劃線（易盾的 BusinessId 另外允許短橫線）。

儲存前用一段固定的無害文字呼叫一次服務商，驗證失敗的不儲存，提示服務商返回的錯誤碼。訪問金鑰加密儲存，之後任何頁面和介面都不顯示，列表中的 AccessKey ID 只顯示前 4 位和後 4 位。

在賬號列表中可以：

• 修改：修改名稱、地域、每秒呼叫次數和其他設定。AccessKey ID 和金鑰留空表示不修改，填寫了任何一個都會重新驗證服務商；
• 驗證：用固定的無害文字呼叫一次服務商，結果顯示在“最近驗證”一列。呼叫服務商時遇到金鑰錯誤、餘額不足等問題，同樣在這一列顯示錯誤；
• 停用、啟用：停用後，使用它的應用的第三方稽核按賬號不可用處理：不再稽核；
• 刪除：金鑰隨之刪除，不能恢復。“使用的應用”中還有應用的賬號不能刪除，請先在這些應用的配置中改用其他賬號或“不用租戶的賬號”。

稽核記錄

“稽核記錄”列出本應用需要人工處理的內容：送審的命中、事後稽核自動處置的內容和使用者舉報。預設只列出未結束的記錄（待稽核、已自動處置），按優先順序、再按時間從新到舊排列。

可以按狀態、場景、物件、類別、來源（詞庫、第三方稽核、舉報）、作者的使用者名稱和建立時間篩選；勾選“舊的在前”改為從舊到新，處理積壓時使用；勾選“轉交平臺的”列出本應用轉交平臺的記錄，只能檢視狀態。

列	說明
優先順序	“最高”：含平臺強制處理的類別，或原因為詐騙、涉政、暴恐、涉及未成年人的舉報；“高”：已自動處置，或 3 人以上舉報；其餘為“普通”
狀態	“待稽核”“已自動處置”（等待確認）“違規”“無違規”“已結束”。已結束的記錄可以檢視結束的原因：超過 30 天未處理、已併入平臺的記錄、物件已刪除
場景、物件	被稽核的內容，如訊息、使用者資料、群暱稱、檔案；舉報的物件還有使用者、群、聊天室
作者	發出這條內容的使用者。你的服務端提交的內容、被舉報的群和聊天室沒有作者
類別、來源、舉報	命中的類別，來源（詞庫、第三方稽核、舉報、地址無法稽核、轉交平臺），舉報人數

同一個物件同時只有一條未結束的記錄，之後的命中和舉報都歸到這一條上。

檢視內容

列表和記錄都不含使用者的內容。點選一行開啟記錄，在“內容與舉報”中點選“檢視內容”讀取內容和舉報：

• 內容是第一次被發現時的快照。之後訊息被撤回、資料被修改，看到的仍是當時的內容；訊息被編輯過、資料被改過的，另外列出之後的版本；
• 舉報列出舉報人、原因、說明、證據訊息和舉報的方式（客戶端或服務端代舉報）；
• 圖片、語音、影片提供 10 分鐘內有效的檢視地址。使用者提交的外部地址不會自動載入，確認後才開啟，開啟後對方的伺服器會看到你的 IP 地址；被平臺規則遮蔽的檔案不提供檢視；
• 每次檢視都寫入操作日誌（moderation.content_view），每個賬號每分鐘最多檢視 120 次；
• 記錄結束 30 天后內容被清空，只能檢視記錄和處置。

作出結論

在記錄的“作出結論”中選擇：

• 確認違規：可以同時選擇處置，並選擇是否“計入作者的違規”（預設計入；作者被盜號等情況可以不計）；
• 無違規：結束記錄。

可以選擇的處置：

物件	處置
訊息、聊天室訊息	撤回訊息、撤回聊天室訊息；遮蔽檔案（預設為訊息中全部本應用的檔案，也可以填寫檔案 ID）
檔案	遮蔽檔案
使用者資料、群暱稱、被舉報的使用者	清除資料：選擇要清除的欄位，不選時清除全部被稽核的欄位
群資料、被舉報的群	清除資料、封禁群
聊天室資料、被舉報的聊天室	清除資料、封禁聊天室
聊天室屬性	刪除聊天室屬性
有作者的內容、被舉報的使用者	禁言作者（選擇範圍和時長）、封禁作者（選擇時長）

入群申請和好友申請的附言、理由不能清除，只能禁言或封禁作者。清除資料只在欄位仍是當時被稽核的值時清除，使用者之後改過的不受影響。處置在提交後執行，稍後重新整理可以在“這條記錄引起的處置”中看到結果：待執行、已執行、已跳過（如物件已被刪除、訊息已被撤回）或失敗。

已自動處置的記錄確認違規時不重複處置、不重複計入違規，只執行這次另外選擇的處置。

改判：確認違規後 30 天內可以改為無違規：刪除這條記錄引起的、按你的規則記下的違規，解除它遮蔽的檔案。已撤回的訊息不能恢復，已執行的禁言和封禁不會自動解除，請在“IM 使用者”中手動解除。判定為無違規的記錄不能再改為違規；發現新的違規時等新的命中或舉報。

批次作出結論：在列表中勾選當前頁還沒有結論的記錄，點選“批次作出結論”，一次最多 100 條，用於處理一批刷屏的廣告。批次結論只能選擇處置內容（撤回、遮蔽檔案、清除資料、刪除屬性），不能禁言和封禁；每條記錄分別處理，已被別人作出結論的記錄會失敗。

兩個人同時處理一條記錄時，後提交的會提示記錄已被修改，並顯示最新的狀態。

轉交平臺

認為內容可能違法、需要平臺處理時，在記錄中點選“轉交平臺”，可以填寫說明。轉交後記錄由平臺稽核人員處理，你在“轉交平臺的”中能看到狀態，但不能再作出結論。平臺稽核人員也可能直接處理本應用的稽核記錄，平臺作出的結論只有平臺能改判。

平臺處置

“平臺處置”列出平臺規則命中後以平臺的身份對本應用執行的處置：撤回訊息、遮蔽檔案、封禁等，顯示物件、類別、處置、狀態和時間，不含內容。平臺撤回的訊息由平臺留證，平臺遮蔽的檔案和平臺的封禁你不能解除。

使用者違規

在“使用者違規”中輸入使用者名稱查詢：

• 違規次數：使用者當前的違規次數，參與自動處罰規則；
• 最近的處罰：自動處罰和人工結論中的禁言、封禁，以及範圍、時長、原因和狀態；
• 違規記錄：每次違規的時間、場景、類別、來源（同步檢查拒絕、事後稽核自動處置、人工確認）、規則（平臺或租戶）和對應的稽核記錄。

點選“清除租戶規則的違規”刪除這個使用者按你的規則記下的全部違規，違規次數相應減少，例如確認他的賬號曾被盜用。平臺規則的違規保留，已執行的禁言和封禁不會解除。違規記錄保留 180 天。

統計

“統計”按天、按場景顯示內容安全的資料，一次最多查詢 90 天，可以按場景篩選。日期按北京時間劃分，數字最多落後 5 分鐘。

指標	說明
檢查	檢查的次數
拒絕、替換、送審	結果為拒絕、替換、送審的次數
自動處置	事後稽核自動撤回或遮蔽的次數
第三方稽核	呼叫第三方稽核的次數，括號中為其中使用平臺賬號的次數
命中快取	圖片、語音、影片命中已有的稽核結果、沒有呼叫服務商的次數
稽核失敗	呼叫第三方稽核失敗的次數
同步超時	已停用，為 0：第三方稽核不再同步呼叫
超出額度未審	超出每分鐘的事後稽核速率或平臺賬號每天的次數，只按詞庫檢查的次數
舉報	舉報的次數

頁面頂部另外顯示待稽核的記錄數和最早一條已等待的時間（不含轉交平臺的記錄）。

操作日誌

內容安全的操作寫入操作日誌：

操作型別	說明
moderation.config_update	修改配置
moderation.word_list_create、moderation.word_list_update、moderation.word_list_delete	建立、修改、刪除詞庫
moderation.words_add、moderation.words_remove	新增、刪除詞條，變更內容中列出詞條
moderation.provider_account_create、moderation.provider_account_update、moderation.provider_account_delete、moderation.provider_account_verify	新增、修改、刪除、驗證稽核賬號，不含金鑰
moderation.content_view	檢視稽核記錄的內容，只記錄檢視了哪條記錄
moderation.item_decide、moderation.item_escalate	作出結論、轉交平臺
moderation.violations_clear	清除使用者的違規

自動處置和自動處罰由執行它們的功能以系統的身份記錄，如撤回訊息、封禁使用者；人工結論引起的處置，操作人為作出結論的人。