【简读】EViT: Expediting Vision Transformers Via Token Reorganizations
探索视觉Transformer的新速度：EViT的革命性突破
ICLR 2022的亮点之作《EViT: Expediting Vision Transformers Via Token Reorganizations》为我们揭示了一种创新的方法，旨在加速Transformer在视觉领域的应用。这篇文章深入探讨了如何通过重新组织tokens来提升ViT模型的效率，让我们一起来看看这个颠覆性的思路。
传统ViT中，图像被切割成小patch，每个patch通过线性变换后成为输入tokens，加上位置嵌入，再附加一个[cls] token，它负责汇总全局信息。然而，并非所有patch都对分类至关重要。许多研究证实，某些背景patch对任务帮助有限。EViT抓住这一关键点，设想在推理阶段动态地剔除无用的patch，从而显著提高模型的运行速度。
EViT的核心创新在于它利用[cls] token对每个patch的贡献进行评估。在Attentive Token Identification阶段，模型通过计算[cls] token与patch token的注意力权重，决定哪些token对分类任务影响大。这种方法既直观又高效，避免了额外计算成本。而在Inattentive Token Fusion中，EViT对待被裁剪的token不直接抛弃，而是通过加权融合，确保信息不失真，进一步提升模型性能。
实验数据显示，EViT在保持DeiT-S模型性能的同时，通过剪枝和融合策略，实现了显著的计算资源节省。例如，当与训练好的DeiT-S进行对比时，EViT在patch token修剪后，性能损失微乎其微，而使用inattentive token fusion则进一步优化了性能。此外，EViT与LV-ViT-S的结合，通过延长训练时间，能够带来更好的结果。在保持计算量不变的前提下，EViT展现出更强的适应性和性能提升。
视觉化的呈现，揭示了EViT如何在模型内部动态地筛选和整合信息，使得图像理解更加精确。这些直观的视觉化结果，进一步证实了EViT在提升效率和精度方面的优秀表现。
总的来说，EViT的出现，无疑为视觉Transformer的世界带来了新的可能性，它以智能的方式重新组织tokens，既保持了Transformer的强大能力，又提升了模型的运行速度。让我们期待EViT在未来的视觉任务中，带来更多的惊喜和突破。
本月小儿： 我们也要做这个作业啊..There is an island called Sindi in East Africa ,there is also a small village with white lighthouse .One day a leopard ran into the lighthouse ,peopel found it stood on the lighthouse.The Head Man of Sindi says:The man who ...
省直辖县级行政单位17810735929： 百分数的特征、意义、读写、与分数的区别、与分数和小数是怎样互化的、百分数和分数有什么意义?？
本月小儿： 1、小数最明显的特征是有小数点 分数可以转化为百分数,百分数也可以转化为分数 分数是以不为0的数做分母,分子为任何数 百分数的分母为100,分子为任何数2、百分数化为分数,先把百分数写成一百分之几,然后化简 百分数化为小数,去掉百分号 ,小数点向左移动两位 分数化为百分数,用分数的分子除以分母,化为小数,或者把分数写成一百分之几的形式 小数化为百分数,把小数点向右移动两位,添上百分号即可
省直辖县级行政单位17810735929： 这是我的朋友简英语怎么读 - ？
本月小儿： 英文原文: This is my friend Jane 英式音标: [ðɪs] [ɪz] [maɪ] [frend] [dʒein] 美式音标: [ðɪs] [ɪz] [maɪ] [frɛnd] [dʒein]
省直辖县级行政单位17810735929： 518英语简读 - ？
本月小儿： 你好,很高兴在这里回答你的问题:...518 five hundred and eighteen
省直辖县级行政单位17810735929： 英语翻译我读了英国作家简.奥斯丁的成名作《傲慢与偏见》,整个故事是以达西为主的四桩婚姻作为主线,将围绕这四桩婚姻发生的一切错综复杂地交织在... - ？
本月小儿：[答案] This summer,I read a British writer Jane.Austin well-known ＂pride and prejudice＂,the story is mainly darcy,four marriage as the four marriage will around all are interlaced.The whole story is generate...
省直辖县级行政单位17810735929： “简”字拼音怎么打 - ？
本月小儿： 简:jian,往后面找,就可以找到,我就是这样打的. 亲,请您点击【采纳答案】,您的采纳是我答题的动力,如果不明白,请追问,谢谢. 补充: 简,jian,第3声.
省直辖县级行政单位17810735929： 秋千英文怎么读 - ？
本月小儿： 秋千 [qiū qiān] [名] swing; trapeze; [例句]游乐场上有一处沙坑、一块跷跷板和一个秋千架. There was a sandpit, a seesaw and a swing in the playground. 我先荡秋千了.简受伤哭起来了. I played on the swing first. Jane was hurt and cried.
省直辖县级行政单位17810735929： 3. 语言品析 品析加点词语. ⑷一到求神拜佛 可就玄虚之至了,有益或是有害,一时就找不出分明的结果来,它可以令人更长久的麻醉着自己. [提示]联系时... - ？
本月小儿：[答案] 3.(4)【品析】“求神拜佛”是国民党在山穷水尽时自欺和欺人的最后一招.鲁迅一针见血地指出“求神拜佛”的危害和严 重后果,触到了国民党的痛处.鲁迅不惮于在枪林弹雨中 为民众奔走呼号,其无私无畏的精神令人敬佩.【品析】“笼罩”一...
省直辖县级行政单位17810735929： 俯视可以造成量简中的读数偏大还偏小?用量筒量取水时俯视读数会造成读数偏大还偏小? - ？
本月小儿：[答案] 偏大
省直辖县级行政单位17810735929： 一本英语课外简易读本的简介要英语哦!内容要包含书名、对3个主人公进行适当的评价、最喜欢的人物和原因以及对该书内容做个摘要(不少于300个单词)... - ？
本月小儿：[答案] TODAY YOU DIE Harlan Banks is hired to drive a delievery truck in Vegas.When he picks up 20 million in cash,his double crossing cohort blasts wto security men and then holds his gun to Banks' head,ordering him to drive.After one of the most ...
