Controllable Natural Language Generation with Contrastive Prefixes
如果将prefix tuning用在受控生成，最朴素的想法就是针对不同的控制方向（aspect）训练独立的prefix。而作者通过对比学习任务将这些独立训练的prefix的关系纳入考虑，从而同时训练多个prefix。 比较有启发性的工作：
- 将同一属性下的不同属性值的prefix训练引入对比学习，从而实现同时训练（比如不同主题的prefix引入对比学习），启发多种属性的组合泛化能否引入对比学习。
- 对多属性组合进行了初步的探讨，有些实验结果值得我们参考。
Method
在single-aspect control setting，作者介绍了supervised method以及unsupervised method
Supervised Method
Unspervised Method
unspervised method指的是，对于训练样本，只有input text x而没有attribute label y，换言之input x对应的prefix是discrete latent variable z.
Experiment
从实验上看，加了contrastive loss的prefix tuning比独立训练的prefix表现好得多。
Muti-Aspect Control
该实验表明了即使简单将单aspect的prefix拼接的效果也不错，并且不同aspect的prefix拼接顺序不会影响表现。同样将单aspect的example当作部分标注的multi-aspect的example对prefix进行semi-supervised的方法的表现也很优异。
（可以启发在多属性组合中缺少部分属性标签时，采用semi-supervised learning？）
Controlling the Focus of Pretrained Language Generation Models （ACL 2022 Findings）
作者认为基于attention机制的模型虽然有用，但attention机制很难显示地控制模型的输出。比如attention如果关注到用户认为并不重要的内容，其实并没有很好的机制去修正。因此作者设计了用户可以直接在input中选择需要focus的内容，而模型生成相关output的机制。 （作者的目标并不是控制模型的attention模块，相反考虑的是实际输出）
Method
Experiments
在具体任务上，将模型在原始的训练集（非focus vectors）上finetune；在attribute methods标注的训练集训练focus vectors，在人工重写的验证集和测试集验证和测试。
主实验结果：
其中attention-offset的基线指的是直接在highlight sentence的attention weight上加hyper- parameter.
在attention上的修改的表现不如focus control，在某种程度可能佐证了attention可能不能忠实反应模型的预测结果。
其他各种消融实验比如测不同层的focus vectors的效果并不明显。
Novelty Controlled Paraphrase Generation with Retrieval Augmented Conditional Prompt Tuning
文章从整体上看是prompt tuning方法在pharahrase generation的应用，相比于原生的prompt tuning的改动不大，更像是prompting tuning的trick . 论文使用Retrial Example增强的Prompt Tuning来使预训练模型适用于paraphrase generation的任务。论文的控制性主要体现在paraphrase generation在词法上的novelty程度。
Approaches
Experiments
很难说prompt tuning在这里起了多重要的作用。这里的检索出example，再构成prompt template，将标签暴露给样本的方法（虽然是别的数据的标签）。在与其他baseline比较时候感觉不太公平。
在消融实验中，有将KNN检索改为随机选择样本，此时模型的表现与prompt tuning，prefix-tuning差别不大。
