keras-nlp 层数 图层是NLP模型的基本构建块。 它们可用于组装新的层,网络或模型。 实现一个可选的屏蔽的转换器,如。 实现了针对基于TPU的模型设计的高效嵌入查找。 创建位置嵌入,如。 通过2D张量蒙版创建3D注意蒙版。 实现屏蔽语言模型。 假定将嵌入表变量传递给它。 编码器 编码器是层的组合(可能还有其他编码器)。 它们是模型的子单元,不会被单独训练。 它将常见的网络结构(如分类头或变压器编码器)封装到具有标准化配置的易于处理的对象中。 实现了基于双向变压器的编码器,如。 它包括嵌入查找,转换器层和池化层。