摘录自公众号「@跟我学机器学习」
第1节 BERT原理与预训练任务
本文是 BERT 精读系列第1讲,从 BERT 与 Transformer Encoder 的关系出发,系统讲清 BERT 论文中那张易混淆的结构图背后的真实网络组成(BertEmbeddings、BertEncoder、BertPooler),详解两大预训练任务的原理与动机:Masked Language Model MLM 随机掩盖 15% Token …
本文是 BERT 精读系列第1讲,从 BERT 与 Transformer Encoder 的关系出发,系统讲清 BERT 论文中那张易混淆的结构图背后的真实网络组成(BertEmbeddings、BertEncoder、BertPooler),详解两大预训练任务的原理与动机:Masked Language Model MLM 随机掩盖 15% Token …