技术摘要：
本发明公开了一种基于局部光滑投影的抗对抗攻击相机源识别方法，包括步骤：1)相机图像预处理；2)构建相机源识别特征提取网络；3)生成噪声图像分块集合；4)定义局部光滑投影损失函数；5)构建相机源识别前置防御网络；6)应用识别模型。本发明利用了局部光滑投影使相机源  全部
背景技术：
相机源识别旨在通过分析拍摄图像中的噪声来识别出相应相机型号。在诸多调查 法证问题中，相机源识别问题已经引起了极大的关注，在近两年，IEEE信号处理学会就举办 了Kaggle相机源识别大赛，进一步推动这一方向的研究。相机源识别对于刑事调查和审判 至关重要，例如解决版权侵权案件，并指出非法图像的作者。相机源识别也为其它和图像篡 改检测相关的问题提供了重要的证据。早期常见的相机源识别方法主要是使用图像元数 据，将相机型号信息置入图像中，但是这个方法添加的元数据本身就很容易被伪造。后来， 研究者提出了基于匹配噪声模式的方法，如使用噪声过滤器——小波滤波器来提取用于识 别的噪声或者用一些统计方法获得某些统计量作为特征，如使用彩色的去马赛克图像的最 小二乘估计作为分类特征，但是这些方法的准确率也不是非常理想。 近年来，基于得益于深度学习技术尤其是卷积神经网络的发展，相机源识别的准 确度较于传统方法有了飞跃性的提高。然而，由于深度神经网络是线性的，因而非常容易遭 受到对抗攻击。攻击者只要在图像中加入微小的对抗噪声，就能够让基于深度神经网络的 相机源识别方法产生错误的分类，从而带来一系列的安全问题。 由于相机源识别不同于一般图像分类任务，它并不依赖于图像内容而是依赖于图 像噪声，通用的防御对抗攻击的方法例如噪声消除很可能在消除噪声的同时破坏图像中用 于识别噪声。对于另一类鲁棒性优化方法，如对抗训练，尽管能够一定程度上防御对抗攻 击，但是也非常容易降低了识别的准确度。而通常来说，训练神经网络的代价是非常昂贵 的，上述的鲁棒性优化的方法难以被迁移到不同的深度神经网络上。
技术实现要素：
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于局部光滑投影的 抗对抗攻击相机源识别方法，该方法通过相机图像预处理获得可供网络训练的图像分块。 在构建和训练相机源识别特征提取网络后，基于相机源识别的特征提取投影对不同噪声影 响的分析，为图像分块建立局部统计坐标，并构建了局部光滑投影目标，减缓特征提取投影 在不同噪声下的振荡现象，从而保证网络对对抗噪声的鲁棒性。同时，为了使得网络易于训 练且获得迁移特性，该方法采用了一个相机源识别前置防御网络来过滤噪声图像分块，将 相机源识别特征提取网络训练过程和防御过程分离，避免了相机源识别特征提取网络的参 数更新。 为实现上述目的，本发明所提供的技术方案为：基于局部光滑投影的抗对抗攻击 相机源识别方法，包括以下步骤： 1)相机图像预处理 7 CN 111738274 A 说　明　书 2/11 页 给定相机拍摄图像数据集，将不同相机型号采集的图像切分成不重叠的原始图像 分块，筛选原始图像分块并进行归一化处理； 2)构建相机源识别特征提取网络 根据原始图像分块的大小，定义一个相机源识别特征提取网络并进行初始化；使 用步骤1)中处理后的原始图像分块训练相机源识别特征提取网络； 3)生成噪声图像分块集合 基于步骤2)中相机源识别特征提取网络的梯度生成含有多个噪声图像分块的噪 声图像分块集合，该噪声图像分块集合中的噪声包含对抗噪声和高斯噪声两种噪声，因此， 该噪声图像分块集合包含对抗噪声图像分块和高斯噪声图像分块两种噪声图像分块； 4)定义局部光滑投影损失函数 基于步骤1)中的原始图像分块和步骤3)中的噪声图像分块集合构建局部统计坐 标，并利用所构建的局部统计坐标定义局部光滑投影损失函数； 5)构建相机源识别前置防御网络 定义并初始化相机源识别前置防御网络；输入步骤1)中的原始图像分块和步骤3) 中噪声图像分块集合内的噪声图像分块到相机源识别前置防御网络中，并将相机源识别前 置防御网络的输出结果输入到相机源识别特征提取网络中，利用步骤4)中的局部光滑投影 损失函数计算损失值，以训练相机源识别前置防御网络； 6)应用识别模型 对给定相机拍摄图像数据集，将原始图像分块或者噪声图像分块输入到相机源识 别前置防御网络中并输出结果，将输出结果再输入到相机源识别特征提取网络中后得到特 征，对特征分类得到预测结果；将预测结果同预设的相机型号标签比较，判断是否正确，以 此评估识别性能。 在步骤1)中，相机图像预处理，包括以下步骤： 1.1)给定相机拍摄图像数据集，数据集中相机型号标签集合为Ls＝{1,2,...,Q}， 其中Q表相机型号标签的数量；数据集中图像的大小为c×M×N，c表示图像颜色通道数，M表 示图像的长，N表示图像的宽；设定原始图像分块大小为m×n，m为原始图像分块的长，n为原 始图像分块的宽；将图像裁剪成 个不重叠的原始图像分块， 表示向下取整的 结果； 1.2)随机选择K个原始图像分块，满足 1.3)将选定的原始图像分块的c个颜色通道的像素值都归一化到[-1,1]之间。 在步骤2)中，构建相机源识别特征提取网络，包括以下步骤： 2.1)定义相机源识别特征提取网络为f(·|Wf ,bf) ,其中，相机源识别特征提取网 络的权值矩阵为 偏置项为 L表示相机 源识别特征提取网络的层数,在Wf中,W lf 表示第l层权值矩阵，W Lf 表示最后一层权值矩阵，在 bf中， 表示第l层偏置项， 表示最后一层偏置项；定义无偏置线性分类器g(·|Wg)，其中 8 CN 111738274 A 说　明　书 3/11 页 Wg为无偏置线性分类器权值矩阵，层数为1；对相机源识别特征提取网络的各层权值矩阵 和无偏置线性分类器的权值矩阵Wg进行初始化： 其中，W表示 或者Wg，ω为采样自标准正态分布的矩阵，ω的维度与W的维度相 同，并且ω的第i行j列元素ωij均采样自标准正态分布，Din为权值矩阵W所在网络层的输入 维度；第l层偏置项 服从均值为0，标准差为0.0001的正态分布； 2.2)输入相机型号标签为CX的原始图像分块X到相机源识别特征提取网络中，计 算原始图像分块特征Y＝f(X|Wf,bf)； 2.3)对原始图像分块特征Y，用无偏置线性分类器g(·|Wg)评分，并用softmax函 数对评分标准化： gout＝g(Y|Wg)            (2) 其中，gout表示原始图像分块特征Y在无偏置线性分类器下的评分向量，gout的维度 与相机型号标签的数量相同，大小为Q；用 表示评分向量gout中第i个相机型号标签的评 分值；scorei表示进行softmax标准化后第i个相机型号标签的评分值； 2.4)计算相机源识别特征提取网络的交叉熵损失值 其中，条件概率 表示在第CX个相机型号标签得分为 的 条件下，预测的相机型号标签 和输入的相机型号标签CX相同的概率； 2.5)计算相机源识别特征提取网络梯度并反向传播： 其中，t表示迭代次数，ηt表示学习率， 和 分别代表第t次迭代时相机源识别 特征提取网络的权值矩阵和偏置值， 表示第t次迭代时无偏置线性分类器的权值矩阵； 和 分别代表第t 1次迭代时相机源识别特征提取网络的权值矩阵和偏置值， 表 示第t 1次迭代时无偏置线性分类器的权值矩阵； 9 CN 111738274 A 说　明　书 4/11 页 2.6)对相机拍摄图像中预处理好的原始图像分块，重复步骤2.2)到步骤2.4)，直 到网络收敛，得到训练好的相机源识别特征提取网络。 在步骤3)中，生成噪声图像分块集合，包括以下步骤： 3.1)生成对抗噪声图像分块：将数据集中预处理后的原始图像分块，输入到相机 源识别特征提取网络中，并计算交叉熵损失值 根据公式(8)迭代计算： 其中，Xi表示第i轮迭代生成的对抗噪声图像分块，Xi 1表示第i 1轮迭代生成的对 抗噪声图像分块；迭代过程中i＝0时，对抗噪声图像分块的初始值X0＝X；sign(·)表示符 号函数；λ表示每次迭代步长； 为交叉熵损失值 对于对抗噪声图像分块Xi的偏导数；S 为噪声强度；clip(·,S)为裁剪函数，对迭代过程中对抗噪声图像分块的像素值裁剪，保证 对抗噪声图像分块的像素值和原始图像分块X对应位置像素的差值绝对值不大于S； 重复公式(8)的迭代，直到Xi 1评分预测得到的相机型号标签与X的相机型号标签 不同时，得到对抗噪声图像分块Xadv＝Xi 1； 3.2)生成高斯噪声图像分块：从均值为0、标准差为噪声强度S的高斯分布中采样 获得高斯噪声σ；将高斯噪声施加到原始图像分块上得到高斯噪声图像分块Xg＝X σ； 3.3)对数据集中的每个原始图像分块，重复步骤3.1)到步骤3.2)共δ次，直至为每 个原始图像分块各生成2δ个噪声图像分块，其中对抗噪声图像分块和高斯噪声图像分块各 δ个，构成噪声图像分块集合。 在步骤4)中，定义局部光滑投影损失函数，包括以下步骤： 4.1)定义原始图像分块X的局部统计坐标为 其中，2δ为噪声图 像分块的数量, 表示X的局部统计坐标的最后一个坐标值， 中单个坐标值 表示为： 其中， 表示原始图像分块X与其任意对抗噪声图像分块Xadv或者高斯噪声图像分 块Xg的不相似度，使用欧氏距离来度量； 同理，定义原始图像分块特征Y的局部统计坐标为ξ＝(ξ1,...,ξ2δ)，ξ2δ表示Y的局 部统计坐标的最后一个坐标值，ξ中单个坐标值ξj表示为： 其中， 表示原始图像分块特征Y与其任意对抗噪声图像分块Xadv或者高斯噪声图 10 CN 111738274 A 说　明　书 5/11 页 像分块Xg的特征的不相似度，使用欧氏距离来度量； 4.2)根据局部统计坐标 和ξ，定义局部光滑投影损失函数如公式(11)所示： 其中，局部光滑投影损失值 为 和ξ之间的散度值DKL。 在步骤5)中，构建相机源识别前置防御网络，包括以下步骤： 5.1)定义相机源识别前置防御网络为fd(·|Wd,bd)，其中，相机源识别前置防御网 络的权值矩阵为 偏置项为 Ld表示相 机源识别前置防御网络的层数，W ld 表示相机源识别前置防御网络的第l层权值矩阵， 表 示相机源识别前置防御网络的最后一层权值矩阵， 表示相机源识别前置防御网络的第l 层偏置项， 表示相机源识别前置防御网络的最后一层偏置项；对相机源识别前置防御网 络的每一层权值 进行初始化： 其中，ω表示采样自标准正态分布的矩阵，ω的维度与 的维度相同，且ω的第i 行j列元素ωij均采样自标准正态分布；Din为 对应的输入维度；第l层偏置项 服从均值 为0，标准差为0.0001的正态分布； 5.2)输入相机型号标签为CX的原始图像分块X到相机源识别特征提取网络中，得 到原始图像分块特征Y； 5.3)将原始图像分块的2δ个噪声图像分块输入到相机源识别前置防御网络中，输 出2δ个防御后的噪声图像分块Xd： Xd＝fd(Xnoise|Wd,bd)           (13) 其中，Xnoise表示对抗噪声图像分块Xadv或高斯噪声图像分块Xg； 5.4)将2δ个防御后的噪声图像分块Xd输入到相机源识别特征提取网络中，输出防 御后的噪声图像分块特征Yd： Yd＝f(Xd|Wf,bf)               (14) 5.5)利用步骤5.2)到步骤5.4)的原始图像分块X、原始图像分块特征Y、防御后的 噪声图像分块Xd和防御后的噪声图像分块特征Yd ,根据局部光滑投影损失函数的定义计算 局部光滑投影损失值 5.6)计算相机源识别前置防御网络和相机源识别特征提取网络的梯度并反向传 播，反向传播过程中仅更新相机源识别前置防御网络的参数： 11 CN 111738274 A 说　明　书 6/11 页 其中，t表示迭代次数，ηt表示学习率， 和 分别代表第t次迭代时相机源识别前 置防御网络或相机源识别特征提取网络的权值矩阵和偏置值； 和 分别代表第t次迭代 相机源识别前置防御网络的权值矩阵和偏置值； 和 分别代表第t 1次迭代相机源识 别前置防御网络的权值矩阵和偏置值； 5.7)对相机拍摄图像数据集中原图像分块，重复步骤5.2)到步骤5.6)，直到相机 源识别前置防御网络收敛，得到训练好的相机源识别前置防御网络。 本发明与现有技术相比，具有如下优点与有益效果： 1、本发明在基础的相机源识别特征提取网络下，提出了用局部光滑投影来消除对 抗攻击带来的影响。光滑投影的作用域在局部充分考虑了相机源识别与场景无关，而与特 定噪声有关的特性，从而保证方法的可行性。同时光滑投影使得特征提取过程能够无差别 地对待不同的噪声干扰，从而实现特征提取对不同噪声近似的抑制作用，进而保证了相机 源识别的识别准确率。 2、本发明从基于统计坐标来实现光滑投影，使得相机源识别的特征提取过程能够 充分利用统计信息，与对抗训练基于标签学习和数据拟合的方式相比，更能充分利用图像 的信息；最小化散度能够充分保证，图像在特征提取投影后，特征空间中用于识别的特征信 息与图像空间的信息的一致性，进而保证了更好的鲁棒性。 3、本发明提出了一种相机源识别前置防御网络，该网络将相机源识别的特征提取 过程和对抗攻击防御过程分离开来，降低了识别和防御网络的训练难度，同时，由于深度神 经网络具有可迁移的特性，使用相机源识别前置防御网络相比于现有的直接在相机源识别 的特征提取网络上优化的方法，具有良好的迁移性。 总之，本发明利用了相机源识别特征提取网络自身对高斯噪声图像分块的鲁棒 性，同时利用局部光滑投影对高斯噪声图像分块和对抗噪声图像分块施加相同的抑制，来 实现相机源识别特征提取过程对不同噪声的鲁棒性。一方面，本发明考虑了相机源识别与 场景无关的特性，将光滑投影限制在图像分块的局部统计坐标内，从而消除了场景带来的 影响，能够适应相机源识别的需求。另一方面，本发明利用了深度神经网络易于迁移的特 性，提出前置防御网络，从而使得在某一识别网络下训练的防御网络架构能够灵活地迁移 到不同网络中。 附图说明 图1是本发明方法的架构图。 图2是本发明的相机源识别前置防御网络训练算法流程图。 图3是实施例中使用的相机源识别前置防御网络结构。