CoPE是一种新的位置编码方法，允许根据上下文来调整位置，以关注更高抽象级别的序列元素。它能够根据需要计算每个注意力机制头的距离，解决标准Transformer无法解决的计数和复制任务，并在语言建模和编码任务上拥有更好的困惑度（PPL）。
