上海市委网信办发布了关于“清朗·整治AI应用乱象”专项行动第一阶段的成果公告。
该行动自2026年4月下旬开始，旨在解决AI应用中存在的七大突出问题，包括未履行大模型备案登记、安全审核不足、训练语料安全、数据投毒、生成内容标识缺失、滥用AI从事违法活动以及开源模型管理不到位等。
为推进此项工作，上海市委网信办于5月13日召集了17家重点网站平台，涵盖AI平台、互联网内容平台、电商平台、应用商店和开源社区，部署了具体要求并指导其升级安全和举报机制。随后，稀宇、千问、小红书、哔哩哔哩、拼多多等平台于5月15日公布了专项治理公告。上海举报中心官网同期开通了专项举报渠道，已收到20余件涉及AI的举报线索及市民反映。
在第一阶段，上海市委网信办指导这17家重点平台进行自查自纠，共清理拦截了包括去AI标识工具教程、数据投毒、未经授权的“换脸拟声”、AI制谣传谣及低俗内容在内的487万余条违法违规信息。同时，共处置了1.8万余个违规账号，下架了1.4万余个违规智能体，处理了1300余个违规商品，并对屡次违规账号采取了分级约束和封禁措施。各平台也根据自身特点展开治理：稀宇下架了“一键脱衣”、赌球博彩等违规智能体，并打击了利用AI编写病毒、钓鱼软件的行为；小红书清理了AI托管运营账号，禁售去AI标识商品，并推进隐式标识互认；哔哩哔哩在内容发布页面强调“AI生成”为必选标签；魔搭社区则清理了涉低俗的违规数据集，加强了开源模型审核。此外，上海市委网信办还委托3家专业机构对32款用户量大的AI产品进行了巡查测试，并对4家企业进行了现场检查，督导其整改AI标识落实不到位、平台安全和审核能力不足等问题。
在协同治理方面，上海市委网信办加强了上海市大模型合规指导服务中心与各区委网信办的合作，举办了16场AI安全合规培训。目前，上海已完成169款大模型的备案，以及183款调用已备案模型API的生成式人工智能应用的登记。在浦东软件园举办了“AI场景落地中的安全挑战和合规赋能”主题沙龙，推动了治理协同。针对医疗、政务等重点领域，联合市数据局优化了政务智能应用测评验证中心，并制定了安全规范；协同市卫健委保障了医疗AI应用的安全。还联合市市场监管局调研了头部GEO企业，探索源头治理。
针对未成年人保护和拟人化AI服务规范，上海市委网信办为即将于2026年7月15日施行的《人工智能拟人化互动服务管理暂行办法》做了准备，向近百家重点平台进行了法规宣贯，指导企业合规建设。针对未成年人模式虚设、身份核验失效及不良内容生成等风险，督导企业严格落实未成年人身份核验，防范情感依赖与消费诱导，并对问题突出的个别应用进行了监管执法。
专项行动的第二阶段将重点关注利用AI生成“数字泔水”、制作虚假信息、散播暴力低俗内容、仿冒他人、侵害未成年人权益以及从事网络水军活动等问题，将持续清理违法不良信息并依法处置违规账号和平台。在此期间，上海市委网信办将通过专项举报入口继续接收公众提供的违规线索。
