周博磊自述5年研究经历:一个神经元的价值和一个神经病的坚持

来源:QQ快报
责任编辑:鲁晓倩
字体:

www.book1234.com防采集请勿采集本网。

机器之心转载

作者:周博磊

一个神经元能够催生多少故事?香港中文大学信息工程系助理教授周博磊近日撰文介绍了他自 2015 年开始至今对神经元的研究经历。最近,他与 DavidBau、朱俊彦等人合作的神经元研究论文发表在了 PNAS 杂志上。

以下是周博磊的原帖内容:

憋了好久的一个工作,终于发表在九月份的 PNAS 杂志上。David 大叔还专门做了一个课题网站,数据和代码也一并公布了。感谢 MIT 团队的合作,算是终于达到圆满状态。论文目的,是为了理解一个神经元的价值。

论文:Understanding the Role of Individual Units in a Deep Network

论文地址:https://www.pnas.org/content/pnas/early/2020/08/31/1907375117.full.pdf

网站地址:http://dissect.csail.mit.edu/

论文本身并不是重点,我只是想写一个简单的总结,来讲讲这个持续了 5 年的关于探索一个神经元的价值以及一个神经病的坚持之旅

我死磕在卷积网络中单个神经元语义的研究上有很长一段时间了。最早是 2015 年读博期间发表的那篇 ICLR'15 论文《Object Detectors Emerge in Deep Scene CNNs》,它至今是我最喜欢的几篇论文之一。

这篇论文可视化了场景分类网络内部的神经元,我们发现有一部分神经元演化出了对特定语义检测的功能,比如下图所示的各种物体检测器。这里有意思的点是,在训练这个场景分类卷积网络的时候,我们给予的标签都是场景标签,并没有任何物体标定,所以说这些神经元是自然而然地演变成物体检测器,有些弱监督以及非监督的思想,但又不完全一样。几年前我为此专门写过一个回答:现在的深度学习的模型越来越大,有个结论是说,大脑的激活是非常稀疏的,对模型参数有什么好的办法压缩吗?

后来 2016 年的时候,为了建立神经网络分类结果与内部神经元的激活的联系,我开发了一个简单的方法,叫Class Activation Mapping (CAM)。CAM 可以叠加神经元的激活相应,从而生成一张热力图来高亮图片里跟预测最有关联的区域。于是我就误打误撞有了我自己引用数量最高的一篇论文 ^,^。

其实这篇工作的初衷只是分析神经元与下游任务的关联,当时这篇论文因为方法太简单被 ICCV'15 拒过一次,差点就发表不出来了,方法本身也不被当时的导师 Antonio 看好,谁又知道它后来会成为如此高引的工作呢……

这个方法后来被用到弱监督定位上面,在给定图片标签的情况下做物体定位,被一堆方法吊打。不过今年 CVPR'20 上韩国的 clovaai 团队把几个常用的弱监督定位的方法做了个客观的比较 (Benchmarking)。有意思的结果是,5 个基于 CAM 开发的发表在顶会的弱监督定位算法最后都没能跑过当年的这个 CAM。同学们,多审视下自己的工作,出来混总是要还的。

再后面 2017 年,50 几岁财务自由后回 MIT 读博士的 David Bau 大叔加入了实验室,我跟他一起合作了一个叫Network Dissection的方法。NetDissect 可以通过标定好的数据库来给神经元打上语义标签以及置信度,从而我们可以通过比较具有语义的神经元的多少来量化不同网络的可解释性。

再后来 2018 年临近毕业,DeepMind 出了篇打脸论文《On the importance of single directions for generalization》,大致意思是说研究 single unit 的语义并没有多少意义,反而在某些情况下会损害网络的泛化能力。他们的一个核心实验结果是,不管是去掉高语义或者去掉低语义的神经元,对网络的整体分类准确度的损害 (overall accuracy drop) 都是无差异的,所以神经元的语义没有意义。

这怎么能忍,我当时在毕业前夕还一周狂做实验折腾出了一篇反打脸文章《Revisting the Importance of Single Units》,指出 DeepMind 那篇论文只是分析了神经元对整体分类准确度的影响,而忽略了对不同类别的分类结果的影响 (class accuracy drop)。一个重要结果是,去掉高语义的神经元,会对某些特定类别的分类有毁灭性影响。

比如说下图结果所示,是去掉某个检测水流的神经元后所有类别分类准确度下降程度 (class accuracy drop) 的排序,排在前面损害最大的类别是 waterfall, fountain, hot_spring 等等,其中对 waterfall 的准确度有接近 - 50% 的损害。另一方面,如右下角所示,去掉这个神经元对整体的分类准确度影响却很微弱,原因是有些类别(最右边)会受益于去掉这个神经元,这也是比较有意思的一个现象,难道是 antifragle?另外,该文章还分析了一些网络训练的 regularizer 对表征的影响,比如说 dropout 会降低神经元的语义特性等等。后来因为诸多原因这篇论文也没有再继续投稿,一直留在 arXiv 上了。

2018 年我从 MIT 毕业之后,David 接手了探索单个神经元价值的担子,把 netdissect 进一步扩展到生成网络,一年产出了一系列交互性很强的优秀工作,如GAN dissection、GAN Paint,通过打开和关闭某个语义的神经元来给图片里增加和删除某些内容。

?

再后来 2020 年的现在,有了这篇 PNAS 杂志论文。这份论文把之前的一系列解析一个神经元价值的工作整合起来,通过打开和关闭神经元的简单操作,量化分析了场景分类网络和生成网络里面一个神经元的价值,并且在解释对抗样本和图片编辑上面做了应用。这篇论文的 editor 是 David Donoho 大神,感觉档次就很不一样,PNAS 应该是仅次于 CNS 级别的杂志了吧 :-)。审稿前后弄了快一年,好在队友 David 和俊彦的实验, 作图、写作都是超一流。感谢队友的 carry。

洋洋洒洒写了这么多,这篇论文的具体内容还是大家自己去看吧。我这里只是想把这个断断续续持续了 5 年的「一个神经元的价值」之旅,以及让自己废寝忘食如神经病一样坚持的研究课题记录下来。

一个神经元的价值,都快熬成了神经病一般的坚持。在现在这个 AI 论文泛滥和内卷的大形势下,又还有多少课题可以再让人像神经病一样坚持 5 年之久呢,但愿人人都能找到自己的价值和坚持所在。

如何根据任务需求搭配恰当类型的数据库?

在AWS推出的白皮书《进入专用数据库时代》中,介绍了8种数据库类型:关系、键值、文档、内存中、关系图、时间序列、分类账、领域宽列,并逐一分析了每种类型的优势、挑战与主要使用案例。

每个人的人2113生都是有高峰,也有低谷,都有5261遇到挫折、疾病,情绪状态4102低落,感到痛1653苦、迷茫的时候。不过,阴雨过后是晴天,办法(包括治疗精神心理疾病的方法)总比问题多,要相信:一切都会好起来!首先,建议就医、检查、诊断一下。如果不是精神病呢?如果是自己多想了呢?也可能只是普通的心理疾病吧。日常生活中,先建议你如下:一,养成良好的生活习惯,作息规律,避免不良嗜好,改正不当言行。二,多与亲友们交流、谈心,在大家的帮助下,注意纠正自己不合理的思维、观念、感觉。三,状态较好的时候,可以适当安排一些自己力所能及、感兴趣、有意义的事情做。四,平时天气好的时候,适当户外活动、运动、散心……调整好身心状态,你好,精神病性的疾病,是需要有具体症状表现的,精神病不要自己凭感觉判断,应该去医院检查确诊,然后根据病情,选择合适的药物,需要专业治疗的,以及定期的去心理科接受一下心理疏导,活着,没有比2113活着更幸福更有意义的事了5261,什么时候都得坚强,即使你不正常了,不管别人4102怎么说怎么看1653待,你都得挺住,因为除了你自己没有人会帮你去解决问题,只要你还有一点意识在,你就不能放弃生的希望.对待患者应该要持以同情爱心,而不是讥讽,我鄙视那些以自己的利益为主的人,为自己活者的人是卑贱的,首先,你2113的看看是不是情绪上的波动,还5261有就是自身的因素来进行4102一个参考。患1653病的因素有很多。看他最近有没有不正常的行为,有没有异常之类的。根据一些实况来进行判定吧!至于怎么办呢!多多关心自己朋友,别对人太过于冷漠。我相信世间上的精神病是因为情感的不满足,让自己锁在枷锁中!心病还是心药医!,人活着 为了体验悲欢2113离合,生老病死, 为了弄明白人5261为了什么而活着?4102 为了实现自身的理想1653、追求、目标、欲望以及价值。 活得很累,很辛苦 因为社会很不公平,活着很无奈 伤心难过要哭泣,找到事做,就不无聊 因为人生本来就是如此 没有一个人的人生是一帆风顺的 只要努力就精彩! 遇到任何事情要乐观对待 保持一颗平常心。 只要谨记:这一秒不放弃,下一秒有奇迹 人生难免跌倒和等候 要勇敢的抬头 阳光总在风雨后! 我给您意见,您看行吗? 1.用心另眼看世界吧,这世上不是每个人都很顺利,只是看自己怎么解决,比如你走路的时候被人撞了,别人给你道歉了,有时候你还是会觉得很火,但是你却没想到撞你的人心里其实比你还难受,还是想想那句“开心也是一天,不开心也是一天,何不如天天开心”。 2.想到心情不好就心情会不好,那就不用想它,如果还是想,那就让自己忙起来,让自己没有空闲去想它,让自己充实地过好每一分钟,再有早晨醒了以后不要恋床,醒了就起来,忙起来,推开窗,呼吸清晨的新鲜空气,放松全身,让自己想像成一个快乐的小天使…… 3.选择一个空气清新,四周安静,光线柔和,不受打扰,可活动自如的地方,取一个自我感觉比较舒适的姿势,站、坐或躺下。 4.活动一下身体的一些大关节和肌肉,做的时候速度要均匀缓慢,动作不需要有一定的格式,只要感到关节放开,肌肉松弛就行了。 5.作深呼吸,慢慢吸气然后慢慢呼出,每当呼出的时候在心中默念“放松”。 6.将注意力集中到一些日常物品上。比如,看着一朵花、一点烛光或任何一件柔和美好的东西,细心观察它的细微之处。点燃一些香料,微微吸它散发的芳香。 7.闭上眼睛,着意去想象一些恬静美好的景物,如蓝色的海水、金黄色的沙滩、朵朵白云、高山流水等。 8.做一些与当前具体事项无关的自己比较喜爱的活动。比如游泳、洗热水澡、逛街购物、听音乐、看电视等。 9.生容易,活容易,生活却不容易。别发愁,这个社会的和你差不多还很多,但是都快乐的生活着,并不是每个人都能成功的,只要你努力对待每件事情,对生活认真一点,只要你认真对待每一天,不管你的人生怎么样,我相信都是精彩的。加油吧! 最后祝你能快乐的过好每一天!!!本回答被提问者采纳内容来自www.book1234.com请勿采集。

声明:以上内容并不代表本网赞同其观点。如有任何问题,请与不良与违法信息举报中心联系:513175919@qq.com。

www.book1234.com true http://www.book1234.com/q/20200914/20200914A08Z4J00.html report 30250
娱乐时尚
  • 一个人得了精神病怎么办?
  • 历史文化
    真视界
    旅游美食
    精彩图文
    我爱我车
    母婴健康
    关于本站 | 广告服务 | 手机版 | 商务合作 | 免责申明 | 招聘信息 | 联系我们
    Copyright © 2004-2018 book1234.com All Rights Reserved. 布客网 版权所有
    京ICP备10044368号-1 京公网安备11010802011102号