机器先过一遍，拿不准的交给人
鉴黄师是帮平台筛内容的安全审核服务。图片、视频、文字、音频分类型处理，机器先过一遍，拿不准的交给人来看。每一条判断都有记录，标准可以跟着业务调整。
简单说，鉴黄师就是一个内容安全审核工具。平台上有大量用户发布的内容，图片、视频、文字、音频都有，靠人工一条条看不过来。鉴黄师让机器先跑一遍，把明显没问题放走，明显有问题的拦下，剩下那些机器拿不准的，交给人来判断。
不同内容类型走不同流程。图片看一眼能出结论，视频不能逐帧看，文字要防变体，音频先转成文字再判断。每条判断都留记录，误判和漏判能查，审核标准改了也有据可依。平台不替你定规则，是提供一个能调、能查、能复盘的审核流程。
机器管两头，人来管中间
几毫秒处理一张图，明显安全的放走，明显违规的拦下，不让人做全量阅读。
机器没把握的条目推给审核员，只处理需要判断的部分，效率和质量都保得住。
暴力比色情卡得严，涉未成年人的零容忍，不同业务可以设不同松紧。
视频不逐帧过，每段取几个关键帧，发现可疑再回看全片，省时也不容易漏。
加空格、换谐音、插符号这些绕法，靠经验库持续补充，算法兜底基础词。
每条判断标结论、依据和操作人，出问题能查，规则调整有依据。
不同内容类型，不同处理方式
静态图片看一眼能出初步结论。麻烦的是边界情况，比如打码打一半的、角度刁钻的、医学图和违规内容外观接近的。平台分三层处理：明确违规、疑似、标记，疑似的推人工复核，减少误杀。
视频不能逐帧看。平台先把视频切成片段，每段取开头、中间、结尾几帧，发现可疑再回看全片。能抓住大部分问题，但也可能漏掉突然插入几秒违规画面的情况。抽帧位置和判断依据都会记录。
基础违禁词机器能认，但中间加空格、换谐音、插符号这些变体，要靠经验库补充。同一句话在不同语境下性质不同，平台支持结合账号和上下文辅助判断，不是只看字面。
音频先转成文字，再走文字审核流程，同时结合声音特征识别低俗内容。语音场景里，暗语和语气暗示比文字更难判断，机器能帮一部分忙，人工听仍然是主要方式。转写结果和判断结论都会留下。
直播是实时流，要边播边看。视频抽帧、音频分段识别，发现疑似立即标记。难点在时效，判断和处理要在秒级完成，误判和漏判的后果比离线审核更直接。
不同违规类型的松紧不一样。暴力比色情卡得严，色情里面再分层，涉未成年人的零容忍。标准不是写死的，是随监管要求和业务场景调整的配置，每次改动有记录。
审核技术、监管环境和从业生态的变化
云从科技10月12日在投资者互动平台回应，公司依托国家网安基地打造的内容审核垂直大模型“晏清”已通过中央网信办备案。AI安全业务涵盖模型评测、内容鉴伪、数据脱敏等环节，相关业务仍在推进中。
Meta宣布将减少对外部承包商的依赖，转向AI审核系统。第三方数据显示其外包审核人员约15000人，可能裁撤6000人。早期试点显示AI相比人类减少约25%的审核错误。行业趋势是AI处理重复性任务，人专注需要判断的部分。
微信珊瑚安全10月16日发布9月处置公告，部分微短剧存在内容低质、剧情夸张、含不良导向或侵权等行为，平台下架数十部违规剧集并处置相关小程序。公告提及平台持续规范真人类、动画类和AI真人类微短剧的管理标准。
科普中国刊文指出，AI审核提高了效率，但人工仍需处理高风险内容。文章提出，评价审核系统不能只看处理量和准确率，还应考察审核员接触高风险内容的频率、休息机制是否可用，以及心理困扰等长期后果。
五部门联合公布的规定自9月1日起施行，要求内容多渠道分发服务机构设立信息内容管理负责人，配备与业务规模相适应的管理团队，制定内容管理、人员管理、应急处置等规则。平台需核验入驻机构资质并备案。
国家网信办就修订草案征求意见，新增平台信息服务、智能信息服务专节，针对AI生成内容、算法推送等新业态补充制度要求。修订聚焦平台主体责任和AI对内容治理带来的新挑战。
关于审核流程、标准和使用
关于审核流程、标准和使用体验的讨论