就在昨天，拥有众多网红的小红书突然被下架——在安卓应用商城上无法下载，下架时间是“无限期”。
对于下架原因，牵涉的是内容违规，从各大网站的爆料来看，小红书内不少“种草笔记”的图片低俗、辣目，或是此次的下架的关键点。对此小红书方面表示，内部正在与相关部门积极沟通解决。
图片低俗化，已经与文字低俗化一起，共同成为互联网信息平台面临的难题，就在昨天，今日头条宣布正式推出新版灵犬反低俗助手同时支持图片和文本识别。这是时隔半年后，“灵犬”的又一次重要升级。在图片识别领域，“灵犬”采用深度学习作为解决方案，在数据、模型、计算力等方面均做了针对性优化。
用技术来定义相对笼统的低俗
信息大爆炸时代，打击低俗低质内容，是当前全球信息平台都面临的难题，不管是国外的脸书，还是国内的微信、今日头条，都在寻求解决方案。
“反低俗无法单一地依靠技术或人工解决。” 字节跳动人工智能实验室总监王长虎表示，它的难度在于，低俗的定义相对笼统，很难完全精确地定义出来，这项工作即使对人来说也不容易，交给机器做更难实现，而在当前内容创作和消费海量增长的趋势下，纯靠人工解决，效率低，无法有效满足用户需求。
据悉，2012年，今日头条内部搭建了反色情、反低俗、反标题党、反虚假信息、反低质等数百个模型，并投入近万人专业审核团队，而“灵犬”是今日头条反低俗系统的一个简化版本。新版“灵犬”重点拓展了反低俗识别类型和模型能力，现已覆盖图片识别（反色情低俗、反血腥暴力）和文本识别（反色情低俗、反暴力谩骂、反标题党），后续还将支持语音识别和视频识别。
资料显示，此前一年时间内，“灵犬”已陆续完成两次迭代。去年3月，今日头条首次上线“灵犬”，支持检测文字和文章链接。5月，“灵犬”完成服务能力升级，增加反色情短文本模型和反谩骂模型，将准确率从73%提升至82%。今年2月，“灵犬2.0”正式上线，除了反色情低俗模型，加入反暴力谩骂和反标题党模型，覆盖了主要的低俗低质内容类型，整体识别准确率。
用户只需要在“灵犬”内内上传图片或图片链接， “灵犬”就可以帮助其检测内容健康指数，返回一个鉴定结果。对于用户输入的内容，“灵犬”会先进行提取、分词和语义识别，然后根据相关规则， 输出对应的分数、评级和结论。这一切都在短短几秒内完成。
图片反低俗，名画仍保留
王长虎介绍，“灵犬”背后的文本分类模型，已经经过了三次迭代。每个新版本相对于旧版本，在技术和数据集层面，都有一个明显的跃升。新版“灵犬”同时应用了“Bert”和半监督技术，并且在此基础上使用了专门的中文语料，在不牺牲效果的情况调整了模型结构，使得计算效率能达到实用水平。
据悉，这一代“灵犬”训练数据集总量是1.2个T，相当于20倍百度百科或100倍维基百科的数据总量，包含920万个样本，准确率提升至91%。 不同于文本识别，图片识别的技术难点主要在于三方面：非均衡、类内方差大和不可穷举，即，低俗图片占整体图片内容的比例较低，低俗图片的种类丰富、繁杂，构成低俗图片的特征千差万别。
对此，“灵犬”运用的解决方案，是深度学习。“我们分别在数据、模型、计算力等方面做了很多优化。”王长虎说。数据层面，“灵犬”已累积上千万级别的训练数据。模型层面，“灵犬”针对许多困难样本做了模型结构调优，尝试解决多尺寸、多尺度、小目标等复杂问题。计算力层面，“灵犬”利用分布式训练算法以及GPU训练集群，加速模型的训练和调试。 不过，王长虎表示，一些技术难以搞定的问题现阶段还有赖于人工判断，“世界名画中常常出现裸体女子，如果完全交由机器判断，机器通过识别画中人物的皮肤裸露面积，就会认为这幅画是色情低俗的；而某些拍摄芭蕾舞的图片，以机器的视角来看，其实类似于裙底偷拍。”
还有些“难题”，机器也很难识别。比如，内衣和内衣模特出现在购物平台上，会被默认为正常，但如果频繁出现在新闻资讯平台上，就可能被认为有低俗嫌疑；正常的热舞内容，提供给成年人看，符合常规标准，但如果开启了青少年模式，这些内容就不应该出现——因为使用场景、人群不同而导致标准变动，机器的“智商”也不够。
王长虎说，针对低俗判断问题的复杂性和不同判断方式的局限性，一方面需要不断进化技术模型，一方面需要有效结合技术和人工判断两种方式。
作者：徐晶卉
编辑：王翔
责任编辑：戎兵
*文汇独家稿件，转载请注明出处。