Weihao Zeng

Attention is ALL You Need!

不同服务器的虚拟环境迁移

记录技术！

前几天有个同学分享了将conda环境打包并移动到不同服务器上的方法，很有趣。打包环境 (1). 进入想要copy的环境下 1 cd /home/.../envs/ (2). 查看anaconda下的虚拟环境 1 conda env list (3). 选择想要打包压缩的虚拟环境（例如将env1环境打包） 1 tar -cvf env1.tar env1/ 移植到目标服...

Posted by Andrew Zeng on February 25, 2022

对话受控生成（1）

从Control Dialogue Generation 开始调研！

受控生成包括哪些形式？传统的受控生成方式有哪些？ prefix参与受控生成的方式有哪些？受控生成将多种类型的信号（length specifications; high-lighted phrases）而不是输入文本加入到生成模型中。 CONTROL PREFIXES for Text Generation Control Prefixs的原理，作用？√ a...

Posted by Andrew Zeng on February 25, 2022

Personal Dialogue Generation

从Personal Dialogue Generation 开始调研！

VALUENET: A New Dataset for Human Value Driven Dialogue System （AAAI 2022）（1）论文提出了用于评价文本属性的10种value，以及对应的数据集和模型。具体而言，对于给定的文本，模型会产生该文本在10个属性上的得分，进而得出该文本的属性。（2）作者在Personal-Chat和EmpatheticDialogue...

Posted by Andrew Zeng on February 25, 2022

Gradient accumulation

Gradient Accumulation https://towardsdatascience.com/gradient-accumulation-overcoming-memory-constraints-in-deep-learning-36d411252d01 完整题目：Gradient Accumulation: Overcoming Memory Constraints in...

Posted by Weihao Zeng on October 17, 2021

生成与安装requirements文件

2021-08-18-生成与安装requirements文件 1. 使用pip freeze生成一般情况，我们可以直接使用Python下的 pip 包管理工具，来生成 requirements.txt 文件，命令如下： 1 pip freeze > D:\pycharm\requirements.txt 其中，D:\pycharm\requirements.txt 为生成的...

Posted by Weihao Zeng on August 18, 2021

Logging 打印日志

2021-08-16-Logging打印日志详细见博客：https://www.cnblogs.com/nancyzhu/p/8551506.html logging函数根据它们用来跟踪的事件的级别或严重程度来命名。标准级别及其适用性描述如下（以严重程度递增排序）：级别何时使用 DEBUG ...

Posted by Weihao Zeng on August 16, 2021

在小gpu上训练bart

2021-08-07-在小GPU上训练BART https://github.com/pytorch/fairseq/issues/1413 在利用fairseq框架复现BART模型在CNN/DM训练过程中，对于显存较小的GPU, 如果采用降低MAX_TOKENS到512的方法，可能会遇到的问题是 AssertionError: sentence at index 227550 ...

Posted by Weihao Zeng on August 7, 2021

Bpe编码

2021-08-07-BPE编码深入理解NLP Subword算法：BPE、WordPiece、ULM - 知乎 (zhihu.com) 2. Byte Pair Encoding (Sennrich et al., 2015)[1] BPE(字节对)编码或二元编码是一种简单的数据压缩形式，其中最常见的一对连续字节数据被替换为该数据中不存在的字节[2]。后期使用时需要一个替换表来重...

Posted by Weihao Zeng on August 7, 2021

Allennlp加载本地预训练权重文件

2021-07-30-Allennlp加载本地预训练权重文件 Allennlp的文档是又稀少又杂乱，最有效的方式还是直接看源码（Allennlp版本为0.9.0）。如果想直接导入bert-base-chinese模型，那如下所示的配置方案是可行的，但是使用其他的预训练模型，比如哈工大的hfl/chinese-bert-wwm-ext, 会报错查无此模型，还是因为allennlp的版本过...

Posted by Weihao Zeng on July 30, 2021

从失败经验中学到的（1）

2021-05-29从失败经验中学到的（1）经验做研究（推广之大部分事情）应当有明确的研究思路，尽早有明确的定位与DDL, 研究过程中应当根据实际情况进行不断的微调。要学会呈现研究成果，研究成果的呈现是需要有极大的智慧的。要学会从失败经历中汲取经验。

Posted by Weihao Zeng on May 29, 2021