|
1 | | -# 支持双层序列作为输入的Layer |
| 1 | +########################### |
| 2 | +支持双层序列作为输入的Layer |
| 3 | +########################### |
2 | 4 |
|
3 | | -## 概述 |
| 5 | +.. contents:: |
| 6 | + |
| 7 | +概述 |
| 8 | +==== |
4 | 9 |
|
5 | 10 | 在自然语言处理任务中,序列是一种常见的数据类型。一个独立的词语,可以看作是一个非序列输入,或者,我们称之为一个0层的序列;由词语构成的句子,是一个单层序列;若干个句子构成一个段落,是一个双层的序列。 |
6 | 11 |
|
|
12 | 17 | + 单层序列:排成一列的多个元素,每个元素是一个0层序列,元素之间的顺序是重要的输入信息 |
13 | 18 | + 双层序列:排成一列的多个元素,每个元素是一个单层序列,称之为双层序列的一个子序列(subseq),subseq的每个元素是一个0层序列 |
14 | 19 |
|
15 | | - |
16 | 20 | 在 PaddlePaddle中,下面这些Layer能够接受双层序列作为输入,完成相应的计算。 |
17 | | -## pooling_layer |
18 | | - |
19 | | -pooling_layer的使用示例如下,详细见<a href = "../../../doc/ui/api/trainer_config_helpers/layers.html#pooling-layer">配置API</a>。 |
20 | | -```python |
21 | | -seq_pool = pooling_layer(input=layer, |
22 | | - pooling_type=AvgPooling(), |
23 | | - agg_level=AggregateLevel.EACH_SEQUENCE) |
24 | | -``` |
| 21 | + |
| 22 | +pooling_layer |
| 23 | +============== |
| 24 | + |
| 25 | +pooling_layer 的使用示例如下,详细见 `pooling_layer`_ 配置API。 |
| 26 | + |
| 27 | +.. code-block:: bash |
| 28 | +
|
| 29 | + seq_pool = pooling_layer(input=layer, |
| 30 | + pooling_type=AvgPooling(), |
| 31 | + agg_level=AggregateLevel.EACH_SEQUENCE) |
| 32 | + |
25 | 33 | - `pooling_type` 目前支持两种,分别是:MaxPooling()和AvgPooling()。 |
26 | | -- `agg_level=AggregateLevel.TIMESTEP`时(默认值): |
| 34 | + |
| 35 | +- `agg_level=AggregateLevel.TIMESTEP` 时(默认值): |
| 36 | + |
27 | 37 | - 作用:双层序列经过运算变成一个0层序列,或单层序列经过运算变成一个0层序列 |
28 | 38 | - 输入:一个双层序列,或一个单层序列 |
29 | 39 | - 输出:一个0层序列,即整个输入序列(单层或双层)的平均值(或最大值) |
30 | | -- `agg_level=AggregateLevel.EACH_SEQUENCE`时: |
| 40 | + |
| 41 | +- `agg_level=AggregateLevel.EACH_SEQUENCE` 时: |
| 42 | + |
31 | 43 | - 作用:一个双层序列经过运算变成一个单层序列 |
32 | 44 | - 输入:必须是一个双层序列 |
33 | 45 | - 输出:一个单层序列,序列的每个元素是原来双层序列每个subseq元素的平均值(或最大值) |
34 | 46 |
|
35 | | -## last_seq 和 first_seq |
| 47 | +last_seq 和 first_seq |
| 48 | +===================== |
| 49 | + |
| 50 | +last_seq 的使用示例如下( `first_seq`_ 类似),详细见 `last_seq`_ 配置API。 |
| 51 | + |
| 52 | +.. code-block:: bash |
| 53 | +
|
| 54 | + last = last_seq(input=layer, |
| 55 | + agg_level=AggregateLevel.EACH_SEQUENCE) |
| 56 | + |
| 57 | +- `agg_level=AggregateLevel.TIMESTEP` 时(默认值): |
36 | 58 |
|
37 | | -last_seq的使用示例如下(first_seq类似),详细见<a href = "../../../doc/ui/api/trainer_config_helpers/layers.html#last-seq">配置API</a>。 |
38 | | -```python |
39 | | -last = last_seq(input=layer, |
40 | | - agg_level=AggregateLevel.EACH_SEQUENCE) |
41 | | -``` |
42 | | -- `agg_level=AggregateLevel.TIMESTEP`时(默认值): |
43 | 59 | - 作用:一个双层序列经过运算变成一个0层序列,或一个单层序列经过运算变成一个0层序列 |
44 | 60 | - 输入:一个双层序列或一个单层序列 |
45 | 61 | - 输出:一个0层序列,即整个输入序列(双层或者单层)最后一个,或第一个元素。 |
46 | | -- `agg_level=AggregateLevel.EACH_SEQUENCE`时: |
| 62 | + |
| 63 | +- `agg_level=AggregateLevel.EACH_SEQUENCE` 时: |
47 | 64 | - 作用:一个双层序列经过运算变成一个单层序列 |
48 | 65 | - 输入:必须是一个双层序列 |
49 | 66 | - 输出:一个单层序列,其中每个元素是双层序列中每个subseq最后一个(或第一个)元素。 |
50 | 67 |
|
51 | | -## expand_layer |
| 68 | +expand_layer |
| 69 | +============ |
| 70 | + |
| 71 | +expand_layer 的使用示例如下,详细见 `expand_layer`_ 配置API。 |
| 72 | + |
| 73 | +.. code-block:: bash |
| 74 | +
|
| 75 | + expand = expand_layer(input=layer1, |
| 76 | + expand_as=layer2, |
| 77 | + expand_level=ExpandLevel.FROM_TIMESTEP) |
| 78 | + |
| 79 | +- `expand_level=ExpandLevel.FROM_TIMESTEP` 时(默认值): |
52 | 80 |
|
53 | | -expand_layer的使用示例如下,详细见<a href = "../../../doc/ui/api/trainer_config_helpers/layers.html#expand-layer">配置API</a>。 |
54 | | -```python |
55 | | -expand = expand_layer(input=layer1, |
56 | | - expand_as=layer2, |
57 | | - expand_level=ExpandLevel.FROM_TIMESTEP) |
58 | | -``` |
59 | | -- `expand_level=ExpandLevel.FROM_TIMESTEP`时(默认值): |
60 | 81 | - 作用:一个0层序列经过运算扩展成一个单层序列,或者一个双层序列 |
61 | | - - 输入:layer1必须是一个0层序列,是待扩展的数据;layer2可以是一个单层序列,或者是一个双层序列,提供扩展的长度信息 |
62 | | - - 输出:一个单层序列,或一个双层序列,输出序列的类型(双层序列,或单层序列)和序列中含有元素的数目同 layer2一致。若输出是单层序列,单层序列的每个元素(0层序列),都是对layer1元素的拷贝;若输出是双层序列,双层序列每个subseq中每个元素(0层序列),都是对layer1元素的拷贝 |
63 | | -- `expand_level=ExpandLevel.FROM_SEQUENCE`时: |
| 82 | + - 输入:layer1必须是一个0层序列,是待扩展的数据;layer2 可以是一个单层序列,或者是一个双层序列,提供扩展的长度信息 |
| 83 | + - 输出:一个单层序列或一个双层序列,输出序列的类型(双层序列或单层序列)和序列中含有元素的数目同 layer2 一致。若输出是单层序列,单层序列的每个元素(0层序列),都是对layer1元素的拷贝;若输出是双层序列,双层序列每个subseq中每个元素(0层序列),都是对layer1元素的拷贝 |
| 84 | + |
| 85 | +- `expand_level=ExpandLevel.FROM_SEQUENCE` 时: |
| 86 | + |
64 | 87 | - 作用:一个单层序列经过运算扩展成一个双层序列 |
65 | | - - 输入:layer1必须是一个单层序列,是待扩展的数据;layer2必须是一个双层序列,提供扩展的长度信息 |
66 | | - - 输出:一个双层序列,序列中含有元素的数目同layer2一致。要求单层序列含有元素的数目(0层序列),和双层序列含有subseq 的数目一致。单层序列第i个元素(0层序列),被扩展为一个单层序列,构成了输出双层序列的第i个subseq。 |
| 88 | + - 输入:layer1必须是一个单层序列,是待扩展的数据;layer2 必须是一个双层序列,提供扩展的长度信息 |
| 89 | + - 输出:一个双层序列,序列中含有元素的数目同 layer2 一致。要求单层序列含有元素的数目(0层序列)和双层序列含有subseq 的数目一致。单层序列第i个元素(0层序列),被扩展为一个单层序列,构成了输出双层序列的第i个 subseq 。 |
| 90 | + |
| 91 | + |
| 92 | +.. _pooling_layer: ../../../doc/ui/api/trainer_config_helpers/layers.html#pooling-layer |
| 93 | +.. _last_seq: ../../../doc/ui/api/trainer_config_helpers/layers.html#last-seq |
| 94 | +.. _first_seq: ../../../doc/ui/api/trainer_config_helpers/layers.html#first-seq |
| 95 | +.. _expand_layer: ../../../doc/ui/api/trainer_config_helpers/layers.html#expand-layer |
0 commit comments