Nový model o3 společnosti OpenAI v testech překonal člověka
OpenAI se pochlubila svojí novou generací AI modelu Frontier o3. Nový model ještě není připraven k veřejnému použití, OpenAI nejdříve zpřístupní o3 výzkumníkům, kteří pomůžou s testováním bezpečnosti. Společnost OpenAI také oznámila existenci modelu o3-mini. Společnost plánuje uvést tento model na trh koncem ledna a o3 bude následovat poté.
Model o3 nabízí oproti svému předchůdci o1 vyšší výkon. Například při letošním testu American Invitational Mathematics Examination dosáhl o3 přesnosti 96,7 %. Naproti tomu o1 dosáhl hodnocení 83,3 %. Ve skutečnosti si v obvyklé sadě srovnávacích testů, kterými OpenAI své modely podrobuje, o3 vedlo tak dobře, že společnost musela najít náročnější testy, ve kterých by ho porovnala.
Jedním z nich je ARC-AGI, benchmark, který testuje schopnost algoritmu AI intuitivně se učit na místě. Podle tvůrce testu, neziskové organizace ARC Prize, by systém umělé inteligence, který by úspěšně překonal ARC-AGI, představoval důležitý milník na cestě k obecné umělé inteligenci. Od svého debutu v roce 2019 se žádnému modelu umělé inteligence nepodařilo ARC-AGI porazit. Test se skládá ze vstupně-výstupních otázek, které většina lidí dokáže vyřešit intuitivně.
Při nízkém nastavení výpočetního výkonu dosáhl o3 v testu 75,7 %. S dalším výpočetním výkonem dosáhl model hodnocení 87,5 procenta. „Lidský výkon je srovnatelný s hranicí 85 procent, takže dostat se nad tuto hranicí je významný milník,“ tvrdí Greg Kamradt, prezident ARC Prize Foundation.
Společnost OpenAI rovněž předvedla o3-mini. Nový model využívá nedávno oznámené rozhraní API Adaptive Thinking Time od společnosti OpenAI a nabízí tři různé režimy uvažování: Low, Medium a High. V praxi to uživatelům umožňuje nastavit, jak dlouho bude software o problému „přemýšlet“, než poskytne odpověď. Model o3-mini dokáže dosáhnout výsledků srovnatelných se současným modelem OpenAI o1, ale se zlomkem výpočetních nákladů. Jak již bylo zmíněno, o3-mini se dostane do veřejného užívání dříve než o3.
Zdroj: engadget.com
