耳洞打三金看到封面和标题，PA的一下我就点进来了，很快啊......大家好我是三金，求大家快来帮帮我！我和编辑部的同事因为上图到底是牛还是鲨吵了起来，我说这张图更像，同事说更像，我们差点儿就GAN了一架！现求大家来评评理这到底是牛还是鲨......案发当天是这样的：昨日下午，风和日丽，诚诚恳恳、兢兢业业的我，在完成当天的文章之后，趁老板不注意于是开始偷偷上班摸，那摸的叫一个开心啊，真是大呼直爽。我就刷推特，一直刷一直刷，我一不小心就把推特刷到了11月29日（注意哈昨天案发当天是12月11日），突然我刷到一张图片：我看到这张图就不禁大笑了起来：旁边同事问我怎么发生肾么事了，我当时看的投入就敷衍了一句说没啥，刚刚想起了开心的事情。我接着往下看，发现有一位身在法国的奥地利AI研究科学家，一位老同志，名叫ChristianWolf，他闲来无事，把上面的这张不只是牛还是鲨的图片喂给了在pytorch上经过ImageNet数据集预训练的ResNet-模型，结果AI识别Top5结果显示如下：虎鲨：23%、双髻鲨（又称锤头鲨）：21%、大白鲨：16%、长嘴硬鳞鱼（又称雀鳝）：11%、鲟：3%......ChristianWolf说自己得到了一个结论：外形[纹理+山脉的背景]，意思就是说对AI识别而言，这张图的外形特征更突出，明显大于纹理的特征。我对这个结果有些不服，我觉得这个头，这简直也太了吧，怎么就因为外形像是就是鲨呢，于是我就让旁边同事扭过头来看这玩意儿到底像啥。同事看了眼说这是鲨鱼，我说你看看它的头、还那奶牛皮肤纹理，对了它还有小牛角......同事说我这不管用，这形状、这鱼鳍、这性感的尾巴、咋看咋都是鲨鱼啊...本来我还心里没啥气，但是听到同事说我这不管用，我PA的一下站起来了，我说我这个管用，我说你有种别走在这等着，同事冷地笑了笑说还没下班呢他想走也走不掉。他主动出击，随便搜了一张虎鲨的图，告诉我说这外形是个人就看得出来是鲨鱼。我大E了，心想得赶紧shan，我赶紧百度谷歌一顿操作找找奶牛的图片：我找啊找，突然找到上面这张图片，我顿时心理就乐开了花，我把这俩货的图片拼在一起甩到同事脸上质问他你看看这两个带着微笑的小眼神是不是一模一样，这是不是牛，是不是？？？同事不服，坚持说还是更像鲨鱼，于是我俩就吵了起来......要不是因为我还欠他两顿饭，我们差点儿就GAN了一架（他怕我不请客了就没敢对我动手）！唉，就不能做个牛脸识别吗，也罢，我大人有大量就原谅了他，姑且就先把这货叫作牛鲨吧。我接着翻这条推特，发现除了上面的一只“牛鲨"，还有下面一只紫色的牛鲨，它和上面那只模样无差，只是换了个紫色马甲，另外牛鲨的背上多了个不知道什么的广告语。ChristianWolf同样用经过ResNet预训练的AI模型来识别它，Top5识别结果如下：双髻鲨：53%、大白鲨：14%、三角龙：8%、飞艇：6%、虎鲨：3%。之后三金我一不小心又貌似找到了这张牛鲨图片里的原牛：来来来，今天我们一镜到底！我又找到了一张牛鲨图hhh......老实说三金我找到这张图的时候吓了一跳，但是内心直呼好家伙。此时的我内心的求知欲与好奇心爆棚！有种跃跃欲试的冲动，我想赶紧知道AI会把上面这货识别成个啥，说做就做，为了图个快，我先是用到了GooglecloudvisionAPI来识别：我对上图这个识别结果不甚满意，虽然它Top1的识别出来是鱼了，但是没有说具体是个sha鱼，因为我知道这是个鲨鱼，另外它也没有按照Softmax概率加总为1的输出分类。唉，靠人不如靠己啊，自己动手丰衣足食，说淦就淦！本着控制变量对照试验法的原则，三金我这时同样给安排上了Resnet-(预训练数据集是ImageNet)来进行识别：纳尼？Englishfoxhound是个啥？Walkerfoxhound、beagle又是个啥？英语八级的我愣了一秒之后就知道这是英国猎狐犬的意思。可是。。。这只牛鲨怎么就是猎狐犬了，牛和鲨好歹沾一样吧？我承认我急了，我赶紧摸了摸头上的天线，也许是模型不够大，我急中生智。于是我也不管控制变量和对照试验了，我把Resnet-换成更大的DenseNet-(预训练数据集同样是ImageNet)模型重新识别，事实证明我是对的：Top1的识别结果是鲟（sturgeon），Top2的识别结果是长体蛇鲭（barracouta），鲟长这样：长体蛇鲭（barracouta）长这样：好吧，虽然没有识别出来是鲨鱼，但上面两种鱼好得和鲨鱼有些形态相似，总比识别成猎犬要好一些。另外Top3的识别结果终于出现了（ox）了，这让心心念叨是牛的我很是欣慰！众所周知，潘朵拉的墨盒一旦打开就很难关上，此时的我已经玩嗨，我赶紧做了个鲨雕识别（使用DenseNet-模型，下同）。说来就来，这次Top5的结果分别是：大白鲨、虎鲨、双髻鲨、虎鲨、风筝？哦不！英语八级的我知道这里kite还有另一个意思是鸢，也就是猛禽的一种，和鹰差不多，这次识别结果还算不错哈~另外我相信大家心中的虎鲨应该是长成下面这样才对吧：再来一个鲨狗识别！这次Top5的结果分别是：大白鲨、儒艮、虎鲨、双髻鲨、河豚。儒艮长下面这样，AI厉害了！以我人眼来观察，这只鲨狗的狗头之外的部分原型应该就是儒艮那接下来当然是再来一个鲨猫识别啦！??????????????????????????????????????????????????????????????????????????这次Top5的结果分别是：虎鲸、三角龙、牛仔靴、双髻鲨、虎鲨。不做过多评价，我这次把票投给牛仔靴！下面还有更多的鲨猫，可惜三金今天跑的程序不支持多物体识别。图作：Yogin/09/19图作：Yogin/09/14到这里大家肯定会发现AI好像特别容易识别出来鲨和鲸，那么最明显的特征是什么呢，有人说是鳍。这件案子的始作俑者ChristianWolf也是这样想的，看看下面他只对鳍进行识别的结果，Top5结果分别是：双髻鲨、大白鲨、虎鲨、虎鲸、海狮，这很ok，毕竟这5种动物都有鳍嘛。这时三金我也要自己试试啊，我只截取了牛头和牛背，把鳍和尾巴给隐藏了，我把下图喂给神经网络：识别结果如下图所示，桥豆麻袋？第一个结果sorrel是个啥动物?我咋不知道，我英语八级没过的事实好像要暴露了，那就乖乖百度一下吧。我草！一种草本植物，原来是酸模/酸叶草的意思，这可真是草了哈原来AI把牛鲨背后的植物给优先识别了，不过这前景背景的，也不能全赖AI哈。但是好歹Top2识别结果是牛，hhhh，我立马把这个结果告诉了同事，同事不吱声，只是默默地摔起了鼠标。下图则是ChristianWolf分别用ResNet-模型和BagNet模型识别结果的完整对比：我输了我输了，我们上面玩的这么嗨，无一不是在打我的脸，显然是在说外形对AI识别来说真的非常重要，我认为牛鲨更像牛，但是对AI而言它明显优先识别的是鲨鱼的轮廓和它的鳍、尾巴等特征。(可能有些读者会疑惑，那人脸识别咋做的，不能类似人脸识别一样只识别牛鲨的头部吗，当然能，但是这就相当一增加了一个分割操作，要先把头部分割出来之后再识别，但是我们现在要研究的是没有任何分割操作的、一次性把整张图片喂给神经网络的单识别工作。）但是外形对AI来说一直都是最重要最优先被识别的特征吗？牛的皮肤和纹理呢？三金我不服，我不甘心，纹理就那么不重要吗？那么请看下图，下图是什么动物？哦！这肯定是一只傻猫啊...错X对AI而言这是一只大象！而且Top5识别结果分别是印度象、非洲象、长牙象......hhh打脸不？就问你打脸不？什么？你说你早已知道这个结果了？好吧好吧，这其实是一篇发表在机器学习顶级会议ICLR9上的论文里研究的工作：论文链接：
