论文解读（BERT-DAAT）《Adversarial and Domain-Aware BERT for Cross-Domain Sentiment Analysis》

2023-07-28 06:17:59 来源 : 博客园

论文信息

论文标题：Adversarial and Domain-Aware BERT for Cross-Domain Sentiment Analysis论文作者：论文来源：2020 ACL论文地址：download论文代码：download视屏讲解：click

1 介绍2 问题定义

在跨域情绪分析任务中，给出了两个域 $D_{s}$ 和 $D_{t}$，它们分别表示源域和目标域。在源域中，$D_{s}^{l}=\left\{x_{s}^{i}, y_{s}^{i}\right\}_{i=1}^{N_{s}^{l}}$ 是 $N_{s}^{l}$ 标记的源域例子，其中 $x_{s}^{i}$ 表示一个句子，$y_{s}^{i}$ 是对应的标签。在源域中也有 $N_{s}^{u}$ 个未标记的数据 $D_{s}^{u}=\left\{x_{s}^{i}\right\}_{i=1+N_{s}^{l}}^{N_{s}^{l}+N_{s}^{u}}$。在目标域中，有一组未标记的数据 $D_{t}=\left\{x_{t}^{i}\right\}_{i=1}^{N_{t}}$，其中 $N_{t}$ 为未标记数据的数量。跨域情绪分析要求我们学习一个基于标记源域数据训练的鲁棒分类器来预测目标域中未标记句子的标签。

2 方法2.1BERT Post-training

2.1.1域区分任务

(资料图)

本文用域区分任务（DDT）来替换 NSP 任务：50% 的时间句子 A 和句子 B 都是从目标域评论中随机抽取的，我们将其标记为TargetDomain。50% 的时间句子 A 和句子 B 来自目标域和另一个域，其标签为MixDomain。

Input = [CLS] The mouse is smooth and great[SEP] The screen is plain [SEP]　　　　Label = TargetDomain　　　　Input = [CLS] This book is boring [SEP] Thesystem of the laptop is stable [SEP]　　　　Label = MixDomain

我们在合并表示上添加一个输出层，并使正确标签的可能性最大化。领域区分预训练使BERT能够提取出不同领域的特定特征，增强了下游的对抗性训练，有利于跨域情绪分析。

2.1.2目标域 MLM

为了注入目标领域的知识，本文利用掩蔽语言模型（MLM），它需要预测句子中随机掩蔽的单词。在跨域情绪分析中，在目标域中没有标记数据，只有大量的未标记数据来进行 MLM 训练 BERT。具体来说，本文用 [MASK] 随机替换 15% 的 Token，并进行 mask token 的预测。

Note：来自其他域的句子将是带来域偏差的噪声。因此，当域区分任务标签是 MixDomain 时，只掩码目标域句子中的 Token。

2.2对抗训练

BERT Post-training注入目标领域的知识，并为 BERT 带来了对领域的意识。基于BERT Post-training，现在可以利用对抗训练放弃提炼的域特定特征来导出域不变特征。具体来说，设计了一个情绪分类器和一个域鉴别器来处理特殊分类嵌入 [CLS] 的隐藏状态 $h_{[CLS]}$。

2.2.1情绪分类器

分类器：

$y_{s}=\operatorname{softmax}\left(W_{s} h_{[C L S]}+b_{s}\right)$

分类交叉熵损失：　　　　$L_{s e n}=-\frac{1}{N_{s}^{l}} \sum_{i=1}^{N_{s}^{l}} \sum_{j=1}^{K} \hat{y}_{s}^{i}(j) \log y_{s}^{i}(j)$

2.2.2域鉴别器

标准的 DANN：

$d=\operatorname{softmax}\left(W_{d} \hat{h}_{[C L S]}+b_{d}\right)$

$L_{d o m}=-\frac{1}{N_{s}+N_{t}} \sum_{i}^{N_{s}+N_{t}} \sum_{j}^{K} \hat{d}^{i}(j) \log d^{i}(j)$

$\begin{array}{c}Q_{\lambda}(x)=x, \\\frac{\partial Q_{\lambda}(x)}{\partial x}=-\lambda I .\end{array}$

2.3 训练目标

完整的训练目标：

$L_{\text {total }}=L_{\text {sen }}+L_{\text {dom }}$