Pytorch 随机擦除和《Data augmentation with Möbius transformations》论文复现

《Depthwise-STFT based separable Convolutional Neural Networks》论文复现。该论文提出了使用 STFT 替换 Depthwise 结构的卷积层，达到提速的效果。这里是未经优化的复现了文中提到的 Depthwise-STFT 卷积操作（卷积操作部分可以优化，预计计算了减少 8 倍），由于未优化，速度并没有得到明显的提升。

高效神经网络设计相关笔记全面的概览

最近在做路面裂缝分割相关工作，这里做相关论文的记录。

2020 年 1 月收集的关于 Pavement Crack Segmentation 的最新论文

这段时间比较关注高效网络设计，因此写下此文做相关记录。

构造一个简单的全卷积神经网络作为解码器，编码器使用预训练模型 ResNet18。数据集使用 VOC2012。

使用 PyTorch 实现经典的卷积神经网络。
从 LeNet 到 DenseNet

使用 PyTorch 简单实现知识蒸馏网络。

RGB2Gray

1
2
3
4

def RGB2gray(rgb):
    r, g, b = rgb[:,:,0], rgb[:,:,1], rgb[:,:,2]
    gray = 0.2989 * r + 0.5870 * g + 0.1140 * b
    return gray

###

FlattenLayer

1
2
3
4
5
6

class FlattenLayer(nn.Module):
    def __init__(self):
        super(FlattenLayer, self).__init__()

    def forward(self, X):
        return X.view(X.shape[0], -1)