Weihao Zeng

Attention is ALL You Need!

对比学习 in NAACL 2022

ACL冲冲冲!

将陆续更新NAACL 2022中与对比学习相关的论文。 DiffCSE:Difference-based Contrastive Learning for SentenceEmbeddings 1. Motivation 通过对比学习来学习sentence embeddings的表示。一般的思路:对于单个样本利用multiple augmentations的方法来构造positive p...

Dialogue in ACL 2022

ACL冲冲冲!

将陆续阅读ACL 2022中与对话相关的论文。 A Model-agnostic Data Manipulation Method for Persona-based Dialogue Generation 有限的persona-based dialogue数据很难训练好对话生成模型。从数据的角度看,该任务的困难在于: (1) 很难大规模扩展当前的persona-based对话数据集。...

overleaf to arxiv的流程

记录技术!

1. 前言 将overleaf上写的论文上传到arxiv,是非常方便的,但也存在一些让人折腾的细节,记录一下踩到的坑,给以后的自己和其他人借鉴。 2. 流程 2.1 从Overleaf上准备好预提交的论文文件 点击overleaf左上角的submit按钮,选择Submit your paper to the arXiv. 选择Download project ZIP with...

与对比学习相关的Prompt-Learning

精读论文!

Prototypical Verbalizer for Prompt-based Few-shot Tuning (ACL 2022) 1. 解决的问题 Prompt-based的方法在预测时,需要将output words映射为verbalizer中的words. 而manual verbalizer取决于domain-specific prior knowledge以及human e...

与Prompt-Tuning相关的受控生成

精读论文!

Controllable Natural Language Generation with Contrastive Prefixes 如果将prefix tuning用在受控生成,最朴素的想法就是针对不同的控制方向(aspect)训练独立的prefix。而作者通过对比学习任务将这些独立训练的prefix的关系纳入考虑,从而同时训练多个prefix。 比较有启发性的工作: 将同一属性下的...

Knowledge-Grounded Dialogue Generation

从Knowledge-Grounded Dialogue Generation 开始调研!

Knowledge-Grounded Dialogue Generation的研究比Personal/Empathetic Dialogue Generation多不少,可以关注的角度也比较多。从knowledge的来源角度可以分为text knowledge(document),infobox knowledge(table)以及commensence knowledge facts等。 ...

A Three-Stage Learning Framework for Low-Resource Knowledge-Grounded Dialogue Generation

精读论文!

论文提出了一种针对低资源场景下的knowledge-grounded dialogue generation任务的多阶段的学习框架。其中,对使用ungrounded dialogues以及unstructured knowledge参与预训练以及将它们结合的方法值得关注。 一. 问题 构造大规模的knowledge- grounded的对话数据集是非常困难的,而在小规模的训练样本上训练的...

Empathetic Dialogue Generation

从Empathetic Dialogue Generation 开始调研!

Knowledge Bridging for Empathetic Dialogue Generation (AAAI 2022) (1). EMPATHETIC-DIALOGUES dataset, speaker被要求围绕着personal emotional feelings进行谈论,模型需要从speaker的话语中推测出underlying emotion并且responds e...

Kformer: Knowledge Injection in Transformer Feed-Forward Layers

精读论文!

论文提出了一种简单且有效的将知识融入预训练语言模型的方法,控制信号的融入可以借鉴。同时,它的实验结果比较有意思,让人思考,直接将knowledge->prefix再融入模型的思路是否有效。 1. 问题 之前将知识嵌入语言模型的方法,主要在input/representation level将额外的知识加入。存在的问题: 依赖于在knowledge corpus上pretrai...

不会每天记的日记

胡言乱语!

扯淡!