半年前刷快手，你可能刷到过这样的画面：一个AI合成的“孝顺儿子”用煽情台词对着老人嘘寒问暖，话锋一转就开始带货。另一边，“全红婵”的AI合成声音在卖“生态土鸡蛋”。小红书的隐秘角落里，黑灰产团伙用大模型模板批量制造高仿真人设账号，几秒钟就能产出成百上千篇“真实体验”种草笔记。
快手的“信任资产”正在被AI骗局侵蚀
早年的快手靠“老铁文化”在下沉市场筑起护城河，基于高粘性信任构建了“信任电商”生态。但AI黑产冲击下，这种朴素信任正在崩溃。AI换脸的“靳东”在屏幕里深情表白，AI生成的宗教人物在直播间收割香火钱。低成本、高仿真的骗局，把老铁们变成了任意揉捏的提款机。
快手在社区治理报告中确实列了铁腕数据：屏蔽AI仿冒名人带货短视频5000多条，封禁清退商家700余人次。ESG报告里也提到完成了《生成式人工智能服务安全基本要求》自评估试点，AI开发平台获得了ISO 42001认证。
但实际体验一下，依然能找到用AI高度还原李亚鹏肖像和声音的导购账号。“平台刚发公告，黑灰产就打脸”的荒诞现实，把快手AI治理的脆弱暴露无遗。
更耐人寻味的是，在快手ESG重大性议题矩阵中，“信息安全与隐私保护”“内容治理”被推上高度重要位置，而“AI安全与治理”却被划在“低度重要”区间。这种刻意降调，背后是“网络安全”与“短期业务利益”的矛盾——安全部门向来被视为不产生直接经济效益的纯成本中心。
小红书的“两难抉择”：一边堵，一边疏
小红书的底层资产是“真实”，用户来看的是普通人真实的消费体验。但AI时代让“伪造真实”成了零成本暴利买卖。黑灰产团伙利用AI工具输入长尾关键词，一键虚构海量消费图文，日产上千篇软文铺满搜索信息流。
小红书官方账号“薯管家”5月15日的两则公告显示：今年以来累积处置AI不良行为超百万例，AI托管账号超80万个，AI造假笔记近15万篇，配合机构对18款AI侵权主体采取法律维权行动。专项治理后，外部小程序等AI发文量下降约35%。
但这背后不是单纯的自律，而是商业两难。完全拒绝AI创作等于自寻死路——AI修图、文案助手能降低创作门槛，维持日活和内容生产效率。品牌方和MCN机构批量生产长尾KOC内容时也高度依赖AI工具。治理太宽，社区沦为“AI垃圾场”；治理太激进，误伤普通创作者和品牌方利益，损害广告收益。
所以小红书玩了一手“一边堵，一边疏”：高调反对AI黑灰产和虚构亲测，同时明确宣布只要主动合规打标、属于“有审美、有叙事、有真实信息增量”的优质AI内容，平台不仅不打压，反而在公域流量上给予倾斜。 用流量做诱饵，把黑灰产引到阳光下主动打标，重新夺回对“信任资产”的定价权。
平台AI治理必须守住两条底线
“头疼医头、脚疼医脚”的补丁式措施，在AI时代已经彻底失效。大厂们需要在底层规则上捍卫两条原则。
创意主导权必须交回真人。
AI确实能指数级放大内容生产效率，但规则制定上必须明确将创意主导权交回真人，把AI限制在效率工具的角色。只有人类真实在场的独特创意、主观审美和真诚分享，才是AI抄不走的核心溢价。
对认知弱势群体必须提供强制性“AI预警干预”。
目前快手和小红书对AI生成内容的标记，多是画面边缘一行极小的灰色小字“作品由疑似AI创作生成”。这种免责式提示对年轻人或许有效，但对认知能力较弱的中老年群体几乎完全失效。快手下沉市场中大量对AI毫无概念的银发族，面对AI换脸合成的“明星儿子”“名医专家”嘘寒问暖时，那行灰色小字根本无法唤醒理智。
平台需要跨越“仅提供提示标签”的原始阶段，针对高风险群体建立弹窗风险阻断、支付端增强人脸核验等硬性技术手段。 用技术保护那些在AI代差面前几乎“裸奔”的弱势群体，这才是ESG报告里最应该被写下的实质行动。
