Skip to content

Commit 92396ef

Browse files
authored
Merge pull request #611 from qingqing01/hierarchical_layer
Refine hierarchical-layer.rst
2 parents 29b6a75 + 5590b4a commit 92396ef

File tree

1 file changed

+63
-34
lines changed

1 file changed

+63
-34
lines changed
Lines changed: 63 additions & 34 deletions
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,11 @@
1-
# 支持双层序列作为输入的Layer
1+
###########################
2+
支持双层序列作为输入的Layer
3+
###########################
24

3-
## 概述
5+
.. contents::
6+
7+
概述
8+
====
49

510
在自然语言处理任务中,序列是一种常见的数据类型。一个独立的词语,可以看作是一个非序列输入,或者,我们称之为一个0层的序列;由词语构成的句子,是一个单层序列;若干个句子构成一个段落,是一个双层的序列。
611

@@ -12,55 +17,79 @@
1217
+ 单层序列:排成一列的多个元素,每个元素是一个0层序列,元素之间的顺序是重要的输入信息
1318
+ 双层序列:排成一列的多个元素,每个元素是一个单层序列,称之为双层序列的一个子序列(subseq),subseq的每个元素是一个0层序列
1419

15-
1620
在 PaddlePaddle中,下面这些Layer能够接受双层序列作为输入,完成相应的计算。
17-
## pooling_layer
18-
19-
pooling_layer的使用示例如下,详细见<a href = "../../../doc/ui/api/trainer_config_helpers/layers.html#pooling-layer">配置API</a>。
20-
```python
21-
seq_pool = pooling_layer(input=layer,
22-
pooling_type=AvgPooling(),
23-
agg_level=AggregateLevel.EACH_SEQUENCE)
24-
```
21+
22+
pooling_layer
23+
==============
24+
25+
pooling_layer 的使用示例如下,详细见 `pooling_layer`_ 配置API。
26+
27+
.. code-block:: bash
28+
29+
seq_pool = pooling_layer(input=layer,
30+
pooling_type=AvgPooling(),
31+
agg_level=AggregateLevel.EACH_SEQUENCE)
32+
2533
- `pooling_type` 目前支持两种,分别是:MaxPooling()和AvgPooling()。
26-
- `agg_level=AggregateLevel.TIMESTEP`时(默认值):
34+
35+
- `agg_level=AggregateLevel.TIMESTEP` 时(默认值):
36+
2737
- 作用:双层序列经过运算变成一个0层序列,或单层序列经过运算变成一个0层序列
2838
- 输入:一个双层序列,或一个单层序列
2939
- 输出:一个0层序列,即整个输入序列(单层或双层)的平均值(或最大值)
30-
- `agg_level=AggregateLevel.EACH_SEQUENCE`时:
40+
41+
- `agg_level=AggregateLevel.EACH_SEQUENCE` 时:
42+
3143
- 作用:一个双层序列经过运算变成一个单层序列
3244
- 输入:必须是一个双层序列
3345
- 输出:一个单层序列,序列的每个元素是原来双层序列每个subseq元素的平均值(或最大值)
3446

35-
## last_seq 和 first_seq
47+
last_seq 和 first_seq
48+
=====================
49+
50+
last_seq 的使用示例如下( `first_seq`_ 类似),详细见 `last_seq`_ 配置API。
51+
52+
.. code-block:: bash
53+
54+
last = last_seq(input=layer,
55+
agg_level=AggregateLevel.EACH_SEQUENCE)
56+
57+
- `agg_level=AggregateLevel.TIMESTEP` 时(默认值):
3658

37-
last_seq的使用示例如下(first_seq类似),详细见<a href = "../../../doc/ui/api/trainer_config_helpers/layers.html#last-seq">配置API</a>。
38-
```python
39-
last = last_seq(input=layer,
40-
agg_level=AggregateLevel.EACH_SEQUENCE)
41-
```
42-
- `agg_level=AggregateLevel.TIMESTEP`时(默认值):
4359
- 作用:一个双层序列经过运算变成一个0层序列,或一个单层序列经过运算变成一个0层序列
4460
- 输入:一个双层序列或一个单层序列
4561
- 输出:一个0层序列,即整个输入序列(双层或者单层)最后一个,或第一个元素。
46-
- `agg_level=AggregateLevel.EACH_SEQUENCE`时:
62+
63+
- `agg_level=AggregateLevel.EACH_SEQUENCE` 时:
4764
- 作用:一个双层序列经过运算变成一个单层序列
4865
- 输入:必须是一个双层序列
4966
- 输出:一个单层序列,其中每个元素是双层序列中每个subseq最后一个(或第一个)元素。
5067

51-
## expand_layer
68+
expand_layer
69+
============
70+
71+
expand_layer 的使用示例如下,详细见 `expand_layer`_ 配置API。
72+
73+
.. code-block:: bash
74+
75+
expand = expand_layer(input=layer1,
76+
expand_as=layer2,
77+
expand_level=ExpandLevel.FROM_TIMESTEP)
78+
79+
- `expand_level=ExpandLevel.FROM_TIMESTEP` 时(默认值):
5280

53-
expand_layer的使用示例如下,详细见<a href = "../../../doc/ui/api/trainer_config_helpers/layers.html#expand-layer">配置API</a>。
54-
```python
55-
expand = expand_layer(input=layer1,
56-
expand_as=layer2,
57-
expand_level=ExpandLevel.FROM_TIMESTEP)
58-
```
59-
- `expand_level=ExpandLevel.FROM_TIMESTEP`时(默认值):
6081
- 作用:一个0层序列经过运算扩展成一个单层序列,或者一个双层序列
61-
- 输入:layer1必须是一个0层序列,是待扩展的数据;layer2可以是一个单层序列,或者是一个双层序列,提供扩展的长度信息
62-
- 输出:一个单层序列,或一个双层序列,输出序列的类型(双层序列,或单层序列)和序列中含有元素的数目同 layer2一致。若输出是单层序列,单层序列的每个元素(0层序列),都是对layer1元素的拷贝;若输出是双层序列,双层序列每个subseq中每个元素(0层序列),都是对layer1元素的拷贝
63-
- `expand_level=ExpandLevel.FROM_SEQUENCE`时:
82+
- 输入:layer1必须是一个0层序列,是待扩展的数据;layer2 可以是一个单层序列,或者是一个双层序列,提供扩展的长度信息
83+
- 输出:一个单层序列或一个双层序列,输出序列的类型(双层序列或单层序列)和序列中含有元素的数目同 layer2 一致。若输出是单层序列,单层序列的每个元素(0层序列),都是对layer1元素的拷贝;若输出是双层序列,双层序列每个subseq中每个元素(0层序列),都是对layer1元素的拷贝
84+
85+
- `expand_level=ExpandLevel.FROM_SEQUENCE` 时:
86+
6487
- 作用:一个单层序列经过运算扩展成一个双层序列
65-
- 输入:layer1必须是一个单层序列,是待扩展的数据;layer2必须是一个双层序列,提供扩展的长度信息
66-
- 输出:一个双层序列,序列中含有元素的数目同layer2一致。要求单层序列含有元素的数目(0层序列),和双层序列含有subseq 的数目一致。单层序列第i个元素(0层序列),被扩展为一个单层序列,构成了输出双层序列的第i个subseq。
88+
- 输入:layer1必须是一个单层序列,是待扩展的数据;layer2 必须是一个双层序列,提供扩展的长度信息
89+
- 输出:一个双层序列,序列中含有元素的数目同 layer2 一致。要求单层序列含有元素的数目(0层序列)和双层序列含有subseq 的数目一致。单层序列第i个元素(0层序列),被扩展为一个单层序列,构成了输出双层序列的第i个 subseq 。
90+
91+
92+
.. _pooling_layer: ../../../doc/ui/api/trainer_config_helpers/layers.html#pooling-layer
93+
.. _last_seq: ../../../doc/ui/api/trainer_config_helpers/layers.html#last-seq
94+
.. _first_seq: ../../../doc/ui/api/trainer_config_helpers/layers.html#first-seq
95+
.. _expand_layer: ../../../doc/ui/api/trainer_config_helpers/layers.html#expand-layer

0 commit comments

Comments
 (0)