Teraz już można odpowiedzieć na chłodno. W ostatnim czasie w dziedzinie sztucznej inteligencji pojawiły się dwa znaczące modele, jeden bardziej znany od drugiego – amerykański OpenAI o1 oraz chiński DeepSeek R1. O ile z tym pierwszym mieliśmy już do czynienia od jakiegoś czasu, tak wieść o azjatyckim odpowiedniku zelektryzowała cały świat. Czy będziemy mieli zimną wojnę w dziedzinie sztucznej inteligencji? Oba te modele zostały zaprojektowane z myślą o zaawansowanym rozumowaniu i rozwiązywaniu skomplikowanych problemów, jednak różnią się pod względem podejścia do treningu oraz efektywności kosztowej.
Metodologia treningu
OpenAI o1 (i kolejne wersje) wykorzystuje tradycyjne podejście do treningu modeli językowych, łącząc nadzorowane uczenie (Supervised Fine-Tuning, SFT) z uczeniem przez wzmocnienie (Reinforcement Learning, RL). Proces ten obejmuje trenowanie modelu na dużych zbiorach danych tekstowych, a następnie doskonalenie jego zdolności rozumowania poprzez RL.
Z kolei DeepSeek R1 przyjmuje innowacyjne podejście, koncentrując się na wieloetapowym procesie treningu. Rozpoczyna od SFT na niewielkim zbiorze danych początkowych, następnie przechodzi do czystego RL w celu wzmocnienia zdolności rozumowania, a na końcu wykorzystuje próbki odrzucenia (rejection sampling) do generowania syntetycznych danych, które są ponownie wykorzystywane w procesie treningu. Co mogliśmy zauważyć? Przede wszystkim podczas wpisywania promptów DeepSeek przedstawia nam jego „proces rozumowania”, w którym dzieli się z nami tym jakie kroki musiał podjąć aby dojść do końcowego efektu jaką jest odpowiedź na prompt użytkownika.
Wydajność i koszty
Analiza przeprowadzona przez Vellum AI wykazała, że DeepSeek R1 osiąga porównywalne wyniki do OpenAI o1 w testach rozumowania, matematyki i kodowania, przy czym koszt treningu modelu R1 jest około 27 razy niższy niż w przypadku o1 – tutaj należy wstawić słowo „podobno”. Nikt z nas nie posiada danych dotyczących rzeczywistych kosztów nauczania DeepSeeka, chociaż sam fakt że możliwa jest optymalizacja kosztów nauczania modeli LLM jest dość obiecująca. Podobno oszczędności wynikają z efektywnego wykorzystania RL oraz generowania syntetycznych danych do dalszego treningu.
I co dalej? Jak dotychczas mamy odpowiedź od OpenAI w postaci modelu o3-mini-high (powoli gubię się w tych nazwach). Model ten przeznaczony jest do odpowiadania na pytania o zaawansowanej logice, potrafiący opracować bardziej skomplikowany kod w porównaniu do swoich poprzedników. Z głosów jakie do mnie dochodzą słyszę bardzo dużo pozytywnych opinii o tym modelu. Może też dlatego, że czekając na odpowiedź od DeepSeek często musimy długo poczekać ze względu na duże zainteresowanie chińskim modelem i sporym obciążeniem serwera.
Jak zawsze zależy… Wybór między DeepSeek a OpenAI zależy od specyficznych potrzeb użytkownika. Jeśli priorytetem są niskie koszty operacyjne i dostęp do otwartego kodu źródłowego, DeepSeek-R1 może być odpowiednim wyborem. Mógłbym być tutaj niemiły i dopowiedzieć – jeśli otrzymasz od niego odpowiedź. Na pewno jeżeli zależy Ci na stabilnym działaniu AI oraz jakby nie patrzeć dłuższej współpracy w projektach jakie możesz skonfigurować w tym modelu, skorzystaj z GPT. Oba modele reprezentują czołówkę współczesnych osiągnięć w dziedzinie sztucznej inteligencji, oferując zaawansowane możliwości rozumowania i adaptacji do różnorodnych zadań.
