PNAS最新研究：81%解题率，神经网络 Codex 推开高等数学世界大门
https://mp.weixin.qq.com/s/Eu0Iuy-bXJCq8JtgR-3yXA
论文：https://www.pnas.org/doi/10.1073/pnas.2123433119
在这项新研究中，研究团队证明了 OpenAI 的 Codex 模型可以进行程序合成从而解决大规模的数学问题，并通过小样本学习自动解决数据集中 81%的数学课程问题，并且 Codex 在这些任务的表现上达到了人类水平。
高等数学题，而且是麻省理工数学课程难度的数学题
过去那些不成功的研究只使用了基于文本的预训练，而此次现身的 Codex 神经网络不仅要基于文本进行预训练，并且还对代码进行了微调。
研究团队使用了一个用于评估数学推理的最新高级数学问题基准 MATH，用 MATH 来检测OpenAI Codex 的能力，MATH 从6大数学板块：初级代数，代数，计数和概率，中级代数，数论，和初级微积分中各抽取15个问题。
研究显示，Codex 解决了问题数据集和 MATH 数据集中的 265 个问题，其中有 213 个是自动解决的。
研究团队从数据集中随机选择不需要输入图像或证明的问题样本来进行测试。其中，仅对文本进行预训练的语言模型 (GPT-3 text-davinci-002) 仅自动解决了课程问题中的18%和 MATH基准测试问题中的25.5%。
相比之下，使用零样本学习和对文本进行预训练并在代码上进行微调的神经网络（OpenAI Codex code-davinci-002）合成的程序可以自动解决课程问题中的 71%和 MATH 基准测试问题中的72.2%。
而使用相同的神经网络 Codex 再加上少样本学习，便可自动解决课程中81%的问题和 MATH 基准测试中81.1%的问题。而其余模型无法自动解决的19%的课程问题和18.9%的MATH基准问题，最后通过手动提示解决。
小样本学习方式的补充，则是这项研究的第二大创新点。从上图中可以看出，当零样本学习无法解答问题时，便会使用（问题，代码）对（pair）执行小样本学习：
但是，问题以图像或其他非文本形式出现，它就无法回答；带有需要证明的解决方案的问题，或者计算上难以解决的问题，比如分解非常大的素数，该模型也无法解决。
华为轻量级神经网络架构GhostNet再升级，GPU上大显身手的G-GhostNet（IJCV22）
论文地址：GhostNets on Heterogeneous Devices via Cheap Operations
代码地址：https://github.com/huawei-noah/CV-Backbones
特征冗余：将卷积的中间特征进行可视化会发现同一层、甚至是不同层的特征都有相似的部分
轻量化思路：在GhostNet（即CVPR2020提出的，本文中称为C-GhostNet）中，作者的等人通过细致的实验观察，提出“以有效方式接受冗余特征图”的思想，将以往的特征生成过程用更廉价的线性运算来替代，从而在保证性能的同时实现轻量化。
因为C-GhostNet中为实现轻量化，使用了一些低运算密度的操作。低运算密度使得GPU的并行计算能力无法被充分利用，从而导致C-GhostNet在GPU等设备上糟糕的延迟，因此需要设计一种适用于GPU设备的Ghost模块，就有了本文的G-Ghost。
作者等人利用观察到的阶段性特征冗余，设计G-Ghost模块并应用于GPU等设备，实现了一个在GPU上具有SOTA性能的轻量级CNN。
具体来说在CNN的某个阶段中，深层特征被分为Ghost特征（可通过浅层廉价操作获得）和复杂特征（不可通过浅层廉价操作获得）
比如有个阶段，一共8个层，分别记为\(L_1, L_2, …, L_8\)
那么复杂特征依次通过8个卷积层获得，具有更丰富的抽象语义信息，Ghost特征直接由\(L_1\)的输出通过廉价操作获得，最终的输出通过将二者拼接得来
其中的廉价操作就是一个1×1卷积且不带激活函数（Relu）
同时要设定一个\(\lambda\)，划分复杂特征跟Ghost(廉价)特征的比例，也就是输出的Ghost特征即为\(\lambda Y\)，复杂特征为\((1 – \lambda) Y\)。
由于而Ghost特征由浅层进行廉价操作所得，可能缺乏一部分深层信息，作者引入一个mix模块用来做信息补偿
将复杂特征分支中第2至第n层的中间特征进行拼接，再使用变换函数，变换至与廉价操作的输出同域，最后再进行特征融合（如简单的逐元素相加）。
TPAMI 2022 | 寻找属于你的影子，港中文等提出实例阴影检测任务
https://mp.weixin.qq.com/s/twJ8SILo5UzWC9_q2hTmig
论文地址 1：https://ieeexplore.ieee.org/document/9804810
论文地址 2：http://arxiv.org/abs/2207.04614
代码链接：https://github.com/stevewongv/SSIS
香港中文大学与上海人工智能实验室的王天宇与胡枭玮等作者提出了一种实例阴影检测任务，旨在查找阴影与物体之间的关系，进而估计光照方向、实现各种图像编辑应用：同时移除物体与其投射的阴影、将物体和阴影从一张图片转移到另一张图片, 并且调整阴影的方向使其与新的图像匹配。
同时该研究提出了一个阴影数据集SOBA (Shadow OBject Association)数据集，该数据集有 1100 张图像以及 4,293 对标注的阴影与物体实例。每张图像包含阴影实例掩膜（图 1(c)）、物体实例掩膜 (图 1(d)) 以及阴影 – 物体关联掩膜 (图 1(e))。该数据集分为 SOBA-training, SOBA-testing 和 SOBA-challenge 用于模型的训练与测试。为了评估实例阴影检测的效果，该研究设计了 SOAP (Shadow-Object Average Precision) 评价函数，综合评估阴影实例、物体实例与阴影 – 物体关联的检测结果。
该研究设计了用于直接学习阴影与物体关系的单阶段实例阴影检测框架，方法仅包含卷积操作，用于生成任意形状的阴影 / 物体 / 阴影 – 物体掩膜
另外，为了增强网络的鲁棒性，特别是处理复杂场景（如物体与阴影实例之间存在遮挡），该研究提出了一种阴影感知的复制粘贴数据增强策略（如下图 6 所示），以扩充训练期间的输入样本。看起来是将图中的物体及其阴影一起复制一份，组成新的训练数据
MP-Font: Self-Supervised Cross-Modality Pre-training for Few-Shot Font Generation
单独发出：https://www.cnblogs.com/Stareven233/p/16577120.html
原文地址：http://www.cnblogs.com/Stareven233/p/16565262.html
