Weihao Zeng

Attention is ALL You Need!

中文对话数据集调研

2022-07-21-中文对话数据集调研 调研了中文对话数据集，供大家参考，欢迎大家补充！ 1. 任务型对话数据集 1.1 CrossWOZ CrossWOZ是非常高质量的任务型对话数据集。 项目链接：https://github.com/thu-coai/CrossWOZ 数据集统计： Split Train Valid ...

Posted by Weihao Zeng on July 21, 2022

Task-Oriented Dailogue Pre-Trained Model

TOD调研！

调研了常见的Task-Oriented对话预训练模型，包括TOD-BERT，UBAR，PLATO系列，PPTOD，GALAXY以及SPACE. TOD-BERT https://www.semanticscholar.org/paper/TOD-BERT%3A-Pre-trained-Natural-Language-for-Dialogue-Wu-Hoi/5b0152967302739...

Posted by Andrew Zeng on July 17, 2022

Markdown的一些Tips

分享技术！

不断更新Markdown使用过程中的一些Tips，供参考！ 1. Markdown中的注释 参考：https://stackoverflow.com/questions/4823468/comments-in-markdown That is: 1 2 3 [comment]: <> (This is a comment, it will not be included)...

Posted by Andrew Zeng on June 14, 2022

Arxiv Daily

日常读论文！（2022y05m21d-2022y06m13d）

Paper1: Long-term Control for Dialogue Generation: Methods and Evaluation (1). 作者提出了新的问题：constrained long-term dialogue genreation. 所谓long-tem的控制，希望控制词汇能够自然地出现在后续对话中。如下图所示 (2). 作者提出了衡量long-term...

Posted by Andrew Zeng on June 13, 2022

pyplot的一些tips

分享技术！

不断更新pyplot使用过程中的一些tips，供参考！ 可以参考简单示例的demo： https://matplotlib.org/stable/plot_types/basic/bar.html 科研感很浓的style： 1 plt.style.use('_mpl-gallery') 1. plt.scatter 相关文档：https://matplotlib.org/sta...

Posted by Andrew Zeng on June 12, 2022

Decoupling Knowledge from Memorization:Retrieval-augmented Prompt Learning

从记忆中解藕出知识！

1. Introduction 使用prompt learning的预训练模型在低资源场景或者新的领域通常无法保持稳定的泛化性。作者认为的可能的原因在于传统的prompt learning方法在训练过程中强行记忆非典型的样本或者在小样本场景下过拟合于浅层的模式。近期的研究提出了长尾理论，表明服从长尾分布的数据会有小规模的非典型样本的“sub-populations”。PLMs会在预测时会倾...

Posted by Andrew Zeng on June 8, 2022

Diffusion-LM Improves Controllable Text Generation

读读Stanford的研究！

看到Prefix-Tuning的作者最近也在研究可控文本生成，主要思路是将CV生成中DDPM迁移到NLP中，并且用类似PPLM的方法实现控制。 这里DDPM可以见 https://zhuanlan.zhihu.com/p/523960047 1. 介绍 之前的工作主要关注简单的属性控制，然而在更复杂，更细粒度上的控制（如语法结构）进展甚微。 作者指的更复杂，更细粒度的控制： 为了...

Posted by Andrew Zeng on June 3, 2022

RANKGEN: Improving Text Generation with Large Ranking Models

读读Google的研究！

论文来源：Google Research 论文链接： https://arxiv.org/abs/2205.09726 代码链接： https://github.com/martiansideofthemoon/rankgen 知乎链接： https://zhuanlan.zhihu.com/p/518306383/preview?comment=0&catalog=...

Posted by Andrew Zeng on May 22, 2022

grep查找进程

记录技术！

当无法通过top-i获取进程的PID时，可以通过grep查找执行的命令从而获得对应的PID. 1. 查找指定进程 train_gpt_prompt是需要查找的进程的关键字 1 ps -ef | grep train_gpt_prompt //train_gpt_prompt是进程关键字 1 2 3 4 5 6 7 (***/conda-env/seq2seq) [*** ~]$ p...

Posted by Andrew Zeng on May 19, 2022

NAACL 2022 | DOP-Tuning: 面向对话摘要领域自适应的轻量级微调方法

ACL冲冲冲！

本文介绍一下我们组在面向领域迁移的对话摘要任务上的工作。 论文标题： Domain-Oriented Prefix-Tuning: Towards Efficient and Generalizable Fine-tuning for Zero-Shot Dialogue Summarization 论文来源： NAACL 2022 论文链接： https://arxiv.o...

Posted by Andrew Zeng on April 25, 2022

ABOUT ME

Weihao Zeng(曾伟豪), postgraduate student at PRIS-NLP, BUPT. Fosucing on large language models, and dialogue systems.