트랜스포머 레이어 =
- Multi-Head Attention (특수 레이어)
- Residual + Layer Norm
- Feed-Forward (일반 Dense Layer)
- Residual + Layer Norm
반응형
'AI, ML > ML' 카테고리의 다른 글
| TF-IDF (0) | 2024.03.12 |
|---|---|
| 문자열을 벡터로 바꾸는 방법2 - TfidfVectorizer (0) | 2024.03.12 |
| 문자열을 벡터로 바꾸는 방법1 - CountVectorizer (0) | 2024.03.12 |
| cardinality (2) | 2024.01.07 |
| dense feature vs sparse feature (0) | 2024.01.07 |