Requirements and Installation

• PyTorch version >= 1.10.0
• Python version >= 3.8

1.下载安装

• To install fairseq and develop locally:

git clone https://github.com/tandede/fairseq.git

cd fairseq

sh prework.sh

pip install --editable ./

如果报：ERROR: Cannot install fairseq and fairseq==0.12.2 because these package versions have conflicting dependencies.

则：

pip install pip==24.0

修改部分

主要修改修改了两个文件

1. 修改了Rope-fairseq/fairseq/modules/multihead_attention.py

添加了rope函数接口，使其能够融入transformer预训练中

2. 修改了Rope-fairseq/fairseq/modules/rotary_positional_embedding.py

添加了几个不同的编码形式，分别进行预训练对比

3.将Rope-fairseq/fairseq/models/transformer中下的几个python文件，将原始绝对位置编码进行注释，不进行添加

Pre-trained models and examples

2. 数据下载、预处理

直接使用sh文件

sh data_download.sh

或者逐步使用以下命令

cd fairseq/examples/translation

 ./prepare-wmt14en2de.sh

若报：bash: ./prepare-wmt14en2de.sh: Permission denied

则：

chmod +x prepare-wmt14en2de.sh

3.Binarize the dataset

直接使用sh文件

sh data_prepare.sh

或者使用以下命令

cd ../..

fairseq-preprocess \
    --source-lang en --target-lang de \
    --trainpref examples/translation/wmt17_en_de/train \
    --validpref examples/translation/wmt17_en_de/valid \
    --testpref examples/translation/wmt17_en_de/test \
    --destdir data-bin/wmt17_en_de --thresholdtgt 0 --thresholdsrc 0 \
    --workers 20

4. Train

使用sh文件

sh pretrain.sh

或使用以下命令单卡训练

CUDA_VISIBLE_DEVICES=0 fairseq-train \
  data-bin/wmt17_en_de  \
  --arch transformer_wmt_en_de --share-decoder-input-output-embed \
  --optimizer adam --adam-betas '(0.9, 0.98)' --clip-norm 0.0 \
  --lr 5e-4 --lr-scheduler inverse_sqrt --warmup-updates 4000 \
  --dropout 0.3 --weight-decay 0.0001 \
  --criterion label_smoothed_cross_entropy --label-smoothing 0.1 \
  --max-tokens 4096 \
  --eval-bleu \
  --eval-bleu-args '{"beam": 5, "max_len_a": 1.2, "max_len_b": 10}' \
  --eval-bleu-detok moses \
  --eval-bleu-remove-bpe \
  --eval-bleu-print-samples \
  --best-checkpoint-metric bleu --maximize-best-checkpoint-metric \
  --tensorboard-logdir ./tensorboard_logs/rope \
  --keep-last-epochs 5 \
  --save-dir checkpoints/rope

多卡训练

CUDA_VISIBLE_DEVICES=0,1  fairseq-train \
  data-bin/wmt17_en_de \
  --distributed-world-size 2 \
  --distributed-num-procs 2 \
  --arch transformer_wmt_en_de --share-all-embeddings \
  --optimizer adam --adam-betas '(0.9, 0.98)' \
  --clip-norm 0.0   --lr-scheduler inverse_sqrt --warmup-init-lr 1e-07 --warmup-updates 4000  \
  --lr 5e-4 --min-lr 1e-09 --criterion label_smoothed_cross_entropy \
  --label-smoothing 0.1 --dropout 0.3 --weight-decay 0.0001 --max-tokens 4096   \
  --eval-bleu \
  --eval-bleu-args '{"beam": 4, "max_len_a": 1.2, "max_len_b": 10}' \
  --eval-bleu-detok moses \
  --eval-bleu-remove-bpe \
  --eval-bleu-print-samples \
  --best-checkpoint-metric bleu --maximize-best-checkpoint-metric \
  --update-freq 2 \
  --tensorboard-logdir ./tensorboard_logs \
  --save-interval-updates 5000 \
  --keep-interval-updates 5 \
  --save-dir checkpoints \
  |tee exp3.log

5. Test

平均检查点

使用sh文件

sh average.sh

或

python scripts/average_checkpoints.py \
  --inputs checkpoints \
  --num-epoch-checkpoints  5 --output averaged_model.pt

生成测试文件

使用sh文件

sh generate.sh

或

CUDA_VISIBLE_DEVICES=0 python fairseq_cli/generate.py \
  data-bin/wmt17_en_de --path averaged_model.pt \
  --remove-bpe --beam 4 --batch-size 64 --lenpen 0.6 \
  --max-len-a 1 --max-len-b 50|tee generate.out

计算bleu分数

使用sh文件

sh socre.sh

或

grep ^T generate.out | cut -f2- | perl -ple 's{(\S)-(\S)}{$1 ##AT##-##AT## $2}g' > generate.ref

grep ^H generate.out |cut -f3- | perl -ple 's{(\S)-(\S)}{$1 ##AT##-##AT## $2}g' > generate.sys

python fairseq_cli/score.py \
  --sys generate.sys \
  --ref generate.ref

@inproceedings{ott2019fairseq,
  title = {fairseq: A Fast, Extensible Toolkit for Sequence Modeling},
  author = {Myle Ott and Sergey Edunov and Alexei Baevski and Angela Fan and Sam Gross and Nathan Ng and David Grangier and Michael Auli},
  booktitle = {Proceedings of NAACL-HLT 2019: Demonstrations},
  year = {2019},
}