self attention이랑 input만 다름
- query: 정보를 추출하고자 하는 위치의 정보를 나타냅니다.
- key: query와 유사한 정보를 나타냅니다.
- value: query와 유사한 정보를 갖고 있는 위치의 정보를 나타냅니다.
cross attention은 query, key, value의 출처가 다른 경우
ex)
- query: 출력 시퀀스의 현재 위치의 정보
- key: 입력 시퀀스의 모든 위치의 정보
- value: 입력 시퀀스의 모든 위치의 정보
self attention은 query, key, value의 출처가 같은 경우
ex)
- query: 입력 시퀀스의 현재 위치의 정보
- key: 입력 시퀀스의 현재 위치의 정보
- value: 입력 시퀀스의 현재 위치의 정보