Transformer

2017年のGoogle論文「Attention Is All You Need」で提案されたニューラルネットワークアーキテクチャ。Self-Attention機構を中心に設計され、並列処理に優れる。

LLMの基盤となるアーキテクチャであり、画像生成分野でもMMDiTのベースとして採用されている。従来のRNNやLSTMと異なり、系列全体を一度に処理できるため、長距離依存の学習が容易。