Transformer AI: czym jest i jak działa architektura
Transformer to architektura sieci neuronowej oparta wyłącznie na mechanizmie self-attention, bez rekurencji i konwolucji. Wprowadzili ją badacze Google w 2017 roku w pracy „Attention Is All You Need”, eliminując sekwencyjne przetwarzanie tokenów charakterystyczne dla RNN i LSTM. Dziś stanowi fundament niemal każdego dużego modelu językowego, w tym GPT, Claude i Gemini.
Czym jest architektura Transformer
Transformer to sieć neuronowa, która modeluje zależności między elementami sekwencji wyłącznie za pomocą mechanizmu uwagi (attention), bez warstw rekurencyjnych czy konwolucyjnych. Architekturę opisało ośmiu badaczy Google Brain i Google Research – Ashish Vaswani, Noam Shazeer, Niki Parmar i pięciu współautorów – w pracy zgłoszonej na arXiv 12 czerwca 2017 roku i zaprezentowanej na konferencji NeurIPS w grudniu 2017.
Praca powstała z konkretnego problemu inżynierskiego. Modele sekwencja-do-sekwencji oparte na RNN i LSTM przetwarzały tokeny jeden po drugim, co utrudniało wykorzystanie równoległości GPU i osłabiało uczenie długodystansowych zależności. Transformer usunął rekurencję całkowicie, opierając się na attention i prostych warstwach feedforward. Na zadaniu tłumaczeniowym WMT 2014 angielski-niemiecki duży Transformer osiągnął 28,4 BLEU, bijąc poprzedni najlepszy zespół modeli o ponad 2 punkty. Na WMT 2014 angielski-francuski pojedynczy model osiągnął 41,8 BLEU po 3,5 dnia treningu na ośmiu GPU NVIDIA P100.
Praca ma dziś ponad 250 tysięcy cytowań i w analizie Nature z kwietnia 2025 zajęła siódme miejsce wśród najczęściej cytowanych prac naukowych XXI wieku. Więcej o samych sieciach neuronowych, na których bazuje Transformer, znajdziesz w przewodniku po sieciach neuronowych.
Dlaczego transformery zastąpiły sieci RNN i LSTM
Transformer wygrał z RNN i LSTM, bo zamienia sekwencyjne przetwarzanie na jedną operację równoległą, likwidując wąskie gardło treningu na GPU. Sieć rekurencyjna liczy stan ukryty w kroku t na podstawie stanu z kroku t minus 1, więc trening nie może być w pełni zrównoleglony w obrębie jednej sekwencji, a gradienty muszą podróżować przez wiele kroków czasowych, co prowadzi do zanikania lub eksplodowania gradientu.
Attention rozwiązuje oba problemy jednocześnie. Każda pozycja wyjściowa może spojrzeć bezpośrednio na każdą pozycję wejściową w jednej operacji macierzowej, a długość ścieżki między dwoma tokenami jest stała, niezależnie od odległości między nimi.
| Cecha | RNN / LSTM | Transformer |
|---|---|---|
| Przetwarzanie sekwencji | Sekwencyjne, token po tokenie | Równoległe, wszystkie pozycje naraz |
| Długość ścieżki między tokenami | Rośnie wraz z odległością | Stała (jeden krok attention) |
| Równoległość treningu w sekwencji | Ograniczona przez rekurencję | Pełna, jedna operacja macierzowa |
| Koszt przy długości sekwencji n | Liniowy O(n) | Kwadratowy O(n²) na warstwę |
Ten kompromis – liniowy koszt RNN kontra kwadratowy koszt Transformera – wygrał zdecydowanie dla długości sekwencji i sprzętu końca lat 2010, co wypchnęło attention na pozycję dominującą niemal w każdej dziedzinie AI.
Jak działa mechanizm self-attention
Self-attention przelicza dla każdego tokena, jak bardzo powinien on „zwracać uwagę” na każdy inny token w sekwencji, i tworzy na tej podstawie nową, kontekstową reprezentację. Mechanizm operuje na trzech macierzach: zapytaniach (Q), kluczach (K) i wartościach (V), które powstają jako liniowe projekcje tego samego wejścia w przypadku self-attention.
Wzór na scaled dot-product attention wygląda tak: iloczyn Q i transponowanego K dzieli się przez pierwiastek z wymiaru klucza, wynik przechodzi przez softmax, a na końcu mnoży się go przez V. Dzielenie przez pierwiastek wymiaru klucza zapobiega zbyt dużym wartościom, które spychałyby softmax w rejony zanikającego gradientu. Softmax zamienia wyniki w rozkład prawdopodobieństwa, a mnożenie przez V daje ważoną sumę wektorów wartości.
W masked self-attention, używanym w dekoderze, dodatkowa maska ustawia wyniki dla zabronionych pozycji (na przykład przyszłych tokenów podczas generowania) na minus nieskończoność przed softmax, co wymusza autoregresywne generowanie tekst po tekście.
Multi-head attention: dlaczego jedna głowica uwagi nie wystarcza
Pojedyncza operacja attention koduje tylko jeden zestaw zależności naraz, dlatego multi-head attention uruchamia kilka równoległych operacji attention na różnych, wyuczonych projekcjach wejścia. Wyniki wszystkich głowic są łączone i rzutowane z powrotem na wymiar modelu. Oryginalny Transformer używał 8 głowic w modelu bazowym i 16 w modelu dużym.
Różne głowice zwykle się specjalizują – część śledzi sąsiednie tokeny, część strukturę składniową (na przykład zgodność podmiotu z orzeczeniem), a część konkretne typy tokenów, jak interpunkcję czy rzadkie rzeczowniki. Autorzy oryginalnej pracy zwizualizowali głowice odpowiedzialne za rozwiązywanie anafory i zależności długodystansowych w języku angielskim.
Nowsze warianty ograniczają koszt pamięciowy podczas dekodowania. Multi-query attention dzieli jedną projekcję klucza i wartości między wszystkie głowice, a grouped-query attention (GQA), zaprezentowane przez zespół Google Research w maju 2023, grupuje głowice tak, by dzieliły klucze i wartości – Meta zastosowała GQA we wszystkich wariantach LLaMA 3.
Positional encoding: jak model poznaje kolejność tokenów
Attention jest niewrażliwy na kolejność tokenów, więc positional encoding dodaje modelowi informację o pozycji każdego słowa w sekwencji. Bez tego mechanizmu Transformer traktowałby zdanie i jego odwrócenie identycznie.
Oryginalna praca użyła stałych, sinusoidalnych kodowań pozycyjnych dodawanych do embeddingu tokena przed pierwszą warstwą attention. Kolejne lata przyniosły alternatywy lepiej radzące sobie z długimi kontekstami.
| Kodowanie | Rok | Zastosowanie | Idea |
|---|---|---|---|
| Sinusoidalne | 2017 | Oryginalny Transformer | Stałe wartości sin/cos dodane do embeddingów |
| Wyuczone absolutne | 2018 | BERT, GPT-2 | Trenowalne wektory pozycji dla każdego indeksu |
| Relatywne | 2018 | Transformer-XL, T5 | Obciążenie wyników attention względną odległością |
| RoPE | 2021 | LLaMA, Mistral, Gemma | Obrót wektorów Q i K o kąt zależny od pozycji |
| ALiBi | 2021 | BLOOM, MPT | Liniowe obciążenie logitów attention na głowicę |
RoPE, zaproponowane przez Jianlin Su i współautorów w kwietniu 2021, stało się domyślnym wyborem dla większości dużych modeli językowych trenowanych po 2022 roku, bo koduje pozycję względną w czysty sposób i lepiej ekstrapoluje na dłuższe konteksty niż widziane podczas treningu, zwłaszcza w połączeniu z technikami takimi jak position interpolation czy YaRN. Więcej o tym, jak tekst trafia do modelu w formie tokenów, zanim otrzyma kodowanie pozycyjne.
Warstwy feedforward, połączenia rezydualne i normalizacja
Po warstwie attention każda pozycja w sekwencji przechodzi przez warstwę feedforward, która przetwarza ją niezależnie od pozostałych tokenów. Oryginalna praca użyła dwuwarstwowej sieci w pełni połączonej z funkcją aktywacji ReLU pomiędzy warstwami i wewnętrznym wymiarem czterokrotnie większym niż wymiar modelu. Warstwy feedforward odpowiadają za większość parametrów współczesnego Transformera – w dużych modelach językowych to często ponad 60 procent wszystkich wag.
Wokół każdej warstwy attention i feedforward owinięte jest połączenie rezydualne, które dodaje wejście podwarstwy do jej wyjścia, co utrzymuje silny sygnał gradientu i pozwala trenować bardzo głębokie sieci bez degradacji. Normalizacja warstwowa (layer normalization) stabilizuje aktywacje wzdłuż wymiaru embeddingu. Oryginalna praca stosowała normalizację po dodaniu rezydualnym („post-LN”), ale większość współczesnych implementacji stosuje ją przed podwarstwą („pre-LN”), bo trenuje się stabilniej bez rozgrzewki learning rate.
Nowsze modele niemal zawsze zastępują ReLU gładszą funkcją aktywacji – GELU w BERT i GPT-2, a SwiGLU lub GeGLU w LLaMA, PaLM i większości aktualnych modeli open source. Powszechny jest też RMSNorm, uproszczony wariant normalizacji, który pomija odejmowanie średniej i jest dziś standardem w modelach z rodziny LLaMA.
Jak trenuje się Transformer: od teacher forcing do praw skalowania
Modele decoder-only, jak GPT czy Claude, trenuje się z celem przewidywania kolejnego tokena – model uczy się, jaki token najprawdopodobniej wystąpi po dotychczasowej sekwencji. Modele encoder-only, jak BERT, trenuje się z maskowanym modelowaniem języka, przewidując losowo zamaskowane tokeny na podstawie reszty zdania. W obu przypadkach strata cross-entropy jest liczona między przewidzianym rozkładem a rzeczywistym tokenem i minimalizowana wariantem spadku gradientu, najczęściej AdamW z kosinusowym zanikiem learning rate.
Kluczowym odkryciem dla skalowania Transformerów były prawa skalowania. W 2020 roku Jared Kaplan i zespół OpenAI opublikowali pracę „Scaling Laws for Neural Language Models”, pokazując, że strata testowa spada jako prawo potęgowe w trzech wielkościach: rozmiarze modelu, rozmiarze zbioru danych i mocy obliczeniowej treningu – a szczegóły architektoniczne, jak głębokość czy szerokość, mają dużo mniejsze znaczenie niż te sumaryczne wartości. W 2022 roku zespół DeepMind pod kierunkiem Jordana Hoffmanna opublikował pracę o modelu Chinchilla, wykazując, że dla ustalonego budżetu obliczeniowego rozmiar modelu i rozmiar danych treningowych powinny rosnąć w podobnym tempie – Chinchilla, model 70 miliardów parametrów trenowany na 1,4 biliona tokenów, przewyższył znacznie większe modele, w tym Gopher (280B) i GPT-3 (175B). To odkrycie zmieniło sposób trenowania niemal wszystkich modeli open source wydanych po 2023 roku.
Encoder-only, decoder-only i encoder-decoder: warianty architektury
Transformery dzielą się na trzy główne warianty w zależności od tego, którą połowę oryginalnej architektury zachowują. Encoder-only modele, jak BERT, przetwarzają cały tekst dwukierunkowo i sprawdzają się w klasyfikacji czy wyszukiwaniu. Decoder-only modele, jak GPT czy Claude, generują tekst token po tokenie w trybie autoregresywnym. Encoder-decoder modele, jak T5, łączą oba podejścia i dobrze radzą sobie z tłumaczeniem czy streszczaniem.
| Wariant | Przykłady | Typowe zastosowanie | Cel treningu |
|---|---|---|---|
| Encoder-only | BERT, RoBERTa, DeBERTa | Klasyfikacja, embeddingi zdań | Maskowane modelowanie języka |
| Decoder-only | GPT, LLaMA, Claude, DeepSeek | Generowanie tekstu, czat, kod | Przewidywanie kolejnego tokena |
| Encoder-decoder | T5, BART | Tłumaczenie, streszczanie | Rekonstrukcja uszkodzonych fragmentów |
Zdecydowana większość dzisiejszych modeli generatywnych, od modeli z rodziny GPT po DeepSeek-R1, to architektury decoder-only. Ich autoregresywny charakter – przewidywanie najbardziej prawdopodobnego kolejnego tokena, a nie weryfikacja faktów – jest też bezpośrednią przyczyną zjawiska halucynacje AI.
Transformery poza tekstem: wizja, dźwięk i biologia
Transformer przestał być architekturą wyłącznie do tekstu i dziś obsługuje obrazy, dźwięk oraz struktury biologiczne. Vision Transformer, zaproponowany przez zespół Google Research w 2020 roku, dzieli obraz na siatkę stałych łat pikseli i traktuje je jak sekwencję tokenów, dorównując lub przewyższając najlepsze sieci konwolucyjne przy odpowiedniej ilości danych treningowych.
W audio Whisper OpenAI z 2022 roku to encoder-decoder Transformer trenowany na 680 tysiącach godzin wielojęzycznego materiału mowy, obsługujący transkrypcję, tłumaczenie i identyfikację języka jednym zestawem wag. W biologii AlphaFold 2 DeepMind użył modułu attention zwanego Evoformerem do przewidywania struktur białek, wygrywając zawody CASP14 z dużą przewagą. Diffusion Transformer, backbone modeli takich jak Stable Diffusion 3 czy Sora, zastąpił architekturę U-Net w generowaniu obrazów i wideo operacją attention na łatach ukrytej reprezentacji.
Ograniczenia transformerów i architektury, które chcą je zastąpić
Największym ograniczeniem Transformera pozostaje kwadratowy koszt attention w długości sekwencji, który przy milionach tokenów wymaga specjalnych technik, takich jak FlashAttention, sliding-window attention czy Ring Attention. Drugim ograniczeniem jest halucynacja – model trenowany do przewidywania najbardziej prawdopodobnego tokena nie ma wbudowanego mechanizmu weryfikacji faktów. Trzecim jest koszt treningu: frontierowe modele w 2025 i 2026 roku kosztują od setek milionów do ponad miliarda dolarów za pojedynczy przebieg treningowy, a moc obliczeniowa potrzebna do ich trenowania koncentruje się w niewielkiej liczbie firm.
O tym, jak sam Transformer ewoluował w kierunku architektur rzadkich (Mixture-of-Experts) i co to oznacza dla kosztów inference w 2026 roku. Modele state-space, jak Mamba, osiągają liniowy czas inference i konkurencyjną jakość względem Transformerów tej samej wielkości, a architektury hybrydowe łączą oba podejścia. Mimo to większość frontierowych modeli, w tym polski model Bielik, wciąż pozostaje oparta na attention, a nie na alternatywach state-space.
FAQ
Czym różni się Transformer od sieci rekurencyjnej (RNN)?
Transformer przetwarza całą sekwencję równolegle za pomocą attention, podczas gdy RNN przetwarza tokeny sekwencyjnie, jeden po drugim. Dzięki temu Transformer lepiej wykorzystuje GPU i skuteczniej modeluje zależności długodystansowe, kosztem kwadratowego zużycia pamięci w długości sekwencji.
Ile parametrów ma typowy Transformer?
Zależy od skali. Oryginalny model bazowy z 2017 roku miał około 65 milionów parametrów, model duży – około 213 milionów. Współczesne duże modele językowe liczą od kilku miliardów do ponad biliona parametrów, często w architekturze Mixture-of-Experts, gdzie aktywna jest tylko część z nich.
Czy Transformer to to samo co GPT?
Nie. Transformer to architektura sieci neuronowej, a GPT to konkretna rodzina modeli zbudowana na wariancie decoder-only tej architektury. Tej samej bazowej architektury używają też BERT (encoder-only) i T5 (encoder-decoder), mimo zupełnie innych zastosowań.
Czy Transformer zostanie zastąpiony przez inną architekturę?
Na razie nie ma na to jednoznacznych dowodów. Modele state-space, jak Mamba czy RWKV, oferują liniowy czas inference i konkurują z Transformerem na wybranych benchmarkach, ale większość frontierowych modeli w 2026 roku wciąż opiera się na attention, często w architekturach hybrydowych łączących oba podejścia.
Czym jest KV cache i dlaczego jest ważny podczas generowania tekstu?
KV cache to zapisane wektory kluczy i wartości z poprzednich tokenów, które nie zmieniają się w kolejnych krokach generowania, więc model nie musi liczyć ich ponownie. Redukuje to koszt inference z kwadratowego do liniowego w długości sekwencji na krok, kosztem pamięci rosnącej wraz z długością kontekstu. Więcej o zarządzaniu pamięcią kontekstu w praktyce znajdziesz w artykule o context caching.
Co to są prawa skalowania (scaling laws) w kontekście Transformerów?
Prawa skalowania to empiryczna zależność, według której strata testowa modelu spada przewidywalnie wraz ze wzrostem rozmiaru modelu, ilości danych treningowych i mocy obliczeniowej. Praca Kaplana z OpenAI (2020) i późniejsza praca o Chinchilli z DeepMind (2022) pokazały, że te trzy czynniki trzeba skalować razem, co bezpośrednio wpłynęło na proporcje parametrów i danych w modelach trenowanych po 2023 roku.
Czym różni się pre-LN od post-LN w warstwie Transformera?
Post-LN, użyty w oryginalnej pracy z 2017 roku, stosuje normalizację warstwową po dodaniu połączenia rezydualnego. Pre-LN stosuje ją przed podwarstwą attention lub feedforward. Pre-LN trenuje się stabilniej i bez potrzeby rozgrzewki learning rate, dlatego większość współczesnych modeli używa właśnie tego wariantu.
Czy Transformer wymaga GPU, żeby działać?
Trening dużych Transformerów praktycznie wymaga GPU lub TPU ze względu na skalę równoległych obliczeń macierzowych. Inference mniejszych modeli, po kwantyzacji do formatów takich jak GGUF, można uruchomić na CPU lub słabszym sprzęcie, choć kosztem szybkości generowania tokenów.
Co to jest weight tying w Transformerze?
Weight tying to technika, w której ta sama macierz embeddingów służy zarówno do zamiany tokenów wejściowych na wektory, jak i do końcowej projekcji na logity słownika przed softmaxem. Zmniejsza to liczbę parametrów modelu i zwykle poprawia jego perplexity.
Podsumowanie
Transformer zamienił sekwencyjne przetwarzanie tekstu na jedną operację równoległą opartą na self-attention, co pozwoliło trenować coraz większe modele coraz szybciej. Od 2017 roku architektura rozrosła się z tłumaczenia maszynowego na wizję, dźwięk, biologię i generowanie wideo, zachowując przy tym te same podstawowe bloki: attention, positional encoding i warstwy feedforward. Sprawdź też, jak te same mechanizmy attention wykorzystuje się w praktyce przy pisaniu promptów dla współczesnych modeli.
