SimpleClassification
参数共享：降低Transfromer Block的整体参数量级
词向量分解：有效降低词向量层参数量级
Sentence-Order-Prediction任务：比NSP更加有效的学习句间关系
下面我们分别介绍这三个部分
词向量分解
这个Trick其实之前在之前的NER系列中出现过多次，比如用在词表增强时，不同词表Embeeding维度的对齐，以及针对维度太高/太低的词表输入，进行适当的降维/升维等等~
参数共享
最终作者的选择更多是for最大程度压缩参数量级，share attenion缩减的参数有限，索性就共享了全部的参数。
SOP
作者也进行了对比，在预训练任务上，加入NSP训练的模型在SOP目标上和只使用MLM没啥区别，这里进一步证明了NSP并没有学到预期中的句子关联和逻辑顺序，而加入SOP训练的模型在NSP上表现要超过只使用MLM。在下游依赖上下文推理的几个任务上，加入SOP的模型整体表现略好。不过差异没有想象中的明显，感觉在如何构建负样本上应该还有优化的空间。个人感觉只是AB，BA的构造方式可能有些过于局部了
整体效果
直接base和base比，large和large比：参数可以压缩到1/10，适合大家自己跑来玩玩，整体模型大小甚至比一些词表大的词向量模型还要小，训练速度上也有提升但是模型效果都有2个点以上的损失，以及因为层数没变，所以推理速度不会更快，以及因为词向量分解的原因多了一层，所以还会略慢些
相似表现对比：ALbert xlarge和Bertlarge对比，都是24层，xlarge的隐藏层是bert的两倍，这里也是为啥说albert是矮胖，因为参数共享所以加层数效果有限，只能增加隐藏层维度。虽然albert xlarge参数压缩到1/5，但是训练更慢，推理也更慢
超越Bert：Albert xxlarge虽然只有12层，但是4倍的隐藏层还是让它的表现全面超越了Bert large，参数压缩到2/3，但是训练速度更更慢，以及超大隐藏层会导致计算中中间变量的存储过大，一般机子跑不动。
所以整体感觉albert的实际应用价值比较有限的，但是提出的两个点还有进一步深挖的价值，其一NSP任务负样本是否有进一步改造的空间，其二如何更有效地利用Bert的参数？