Vodeća svjetska news agencija, ugledni Reuters, objavio je ekskluzivne informacije o projektu kodnog imena "Strawberry". Proizvođač ChatGPT-a OpenAI, otkriva Reuters, radi na novom pristupu svojim modelima umjetne inteligencije u projektu kodnog naziva "Strawberry". Iz Reutersa objavljuju tvrdnje osobe upoznate s temom, te dio saznanja nakon uvida u internu dokumentaciju.
Projekt, čiji detalji nisu prethodno objavljeni, dolazi u trenutku kada startup koji podržava Microsoft nastoji pokazati da su vrste modela koje nudi sposobne pružiti napredne sposobnosti razmišljanja.
Timovi unutar OpenAI-ja rade na Strawberryju, navodi se u kopiji internog OpenAI dokumenta koji je Reuters vidio u svibnju. Reuters nije mogao utvrditi točan datum dokumenta, koji detaljno opisuje plan kako OpenAI namjerava koristiti Strawberry za izvođenje istraživanja. Izvor je za Reuters opisao plan i radove koji su u tijeku. Novinska agencija nije mogla utvrditi koliko je Strawberry blizu javne uporabe.
"To kako točno funkcionira Strawberry je strogo čuvana tajna čak i unutar OpenAI-ja", rekla je osoba (čiji je identitet poznat Reutersu).
Dokument opisuje projekt koji koristi "Strawberry" modele s ciljem implementiranja AI-u tvrtke, ne samo da generira odgovore na upite, već i da planira dovoljno unaprijed. Izvor Reutersa tvrdi da bi "Strawberry" internet koristio potpuno autonomno i bio sposoban za ono što OpenAI naziva "dubokim istraživanjem".
To je nešto što je dosad izmicalo modelima umjetne inteligencije, zaključuje se nakon intervjua s više od desetak istraživača umjetne inteligencije.
Upitan o Strawberryju i detaljima navedenim u ovoj priči, glasnogovornik tvrtke OpenAI rekao je u izjavi: “Želimo da naši AI modeli vide i razumiju svijet više kao mi. Kontinuirano istraživanje novih mogućnosti umjetne inteligencije uobičajena je praksa u industriji, uz zajedničko uvjerenje da će se ovi sustavi s vremenom poboljšati u rasuđivanju.”
Projekt Strawberry prije je bio poznat kao "Q", za koji je Reuters prošle godine izvijestio da je unutar tvrtke već viđen kao veliki korak.
Dva su izvora opisala kako su ranije ove godine gledali ono za što su im djelatnici OpenAI-ja rekli da su "Q" demo, a ti modeli su bili sposobni odgovoriti na škakljiva znanstvena i matematička pitanja, dakle nešto što je u ovom trenutku potpuno izvan dosega današnjih komercijalno dostupnih modela.
Bloomberg je objavio kako je u utorak na internom sastanku za uzak interni krug OpenAI-a pokazao demo istraživačkog projekta za koji je tvrdio da ima nove vještine rasuđivanja poput ljudskih. Ovaj događaj otvara potpuno novu stranicu. Glasnogovornik OpenAI-ja potvrdio je sastanak, ali je odbio dati pojedinosti o sadržaju. Reuters nije mogao utvrditi je li prikazani projekt upravo "Strawberry".
OpenAI se nada da će inovacija dramatično poboljšati sposobnosti rasuđivanja njegovih AI modela, rekla je osoba upoznata s tim, dodajući da Strawberry uključuje specijalizirani način obrade AI modela nakon što je prethodno uvježban na vrlo velikim skupovima podataka.
Istraživači s kojima je razgovarao Reuters kažu da je razmišljanje ključno da AI postigne ljudsku ili nadljudsku inteligenciju.
Dok veliki jezični modeli već mogu sažeti guste tekstove i sastaviti elegantnu prozu mnogo brže od bilo kojeg čovjeka, tehnologija često ne uspijeva riješiti zdravorazumske probleme čija se rješenja ljudima čine intuitivnima, poput prepoznavanja logičkih pogrešaka i igranja tpoput ic-tac-toe. Kada se model susreće s ovakvim problemima, često "halucinira" lažne informacije.
Istraživači umjetne inteligencije s kojima je razgovarao Reuters općenito se slažu da rasuđivanje, u kontekstu umjetne inteligencije, uključuje formiranje modela koji omogućuje umjetnoj inteligenciji da planira unaprijed, odražava kako funkcionira fizički svijet i pouzdano rješava izazovne probleme u više koraka.
Poboljšanje razmišljanja u modelima umjetne inteligencije smatra se ključem za otključavanje sposobnosti modela da rade sve, od velikih znanstvenih otkrića do planiranja i izgradnje novih softverskih aplikacija.
Generalni direktor OpenAI-ja Sam Altman rekao je ranije ove godine da će kod razvoja umjetne inteligencije "najvažnija područja napretka biti oko sposobnosti rasuđivanja."
Druge tvrtke poput Googlea, Mete i Microsofta također eksperimentiraju s različitim tehnikama za poboljšanje razmišljanja u modelima umjetne inteligencije, kao i većina akademskih laboratorija koji provode istraživanja umjetne inteligencije. Istraživači se, međutim, razlikuju oko toga jesu li veliki jezični modeli (LLM) sposobni uključiti ideje i dugoročno planiranje u način na koji rade predviđanje. Na primjer, jedan od pionira moderne umjetne inteligencije, Yann LeCun, koji radi u Meti, često je govorio da LLM-ovi nisu sposobni za ljudsko rasuđivanje.
Izazovi umjetne inteligencije
"Strawberry" je ključna komponenta OpenAI-jevog plana za prevladavanje tih izazova, rekao je izvor upoznat s tim pitanjem. Dokument u koji je Reuters imao uvid opisuje što "Strawberry želi omogućiti", ali ne i kako.
Posljednjih mjeseci tvrtka je privatno signalizirala programerima i drugim vanjskim stranama da je na korak od izdavanja tehnologije sa znatno naprednijim sposobnostima razmišljanja, prema četvero ljudi koji su čuli prijedloge tvrtke. Odbili su se otkriti jer nisu ovlašteni govoriti o privatnim stvarima.
Strawberry uključuje specijalizirani način onoga što je poznato kao "naknadna obuka" OpenAI-jevih generativnih AI modela ili prilagođavanje osnovnih modela kako bi se poboljšala njihova izvedba na specifične načine nakon što su već bili "obučeni" na hrpi generaliziranih podataka, rekao je jedan od izvora Reutersa.
Strawberry ima sličnosti s metodom razvijenom na Stanfordu 2022. pod nazivom "Self-Taught Reasoner" ili "STaR", rekao je jedan od izvora koji poznaje tu materiju.
STaR omogućuje modelima umjetne inteligencije da se "podignu" na više razine inteligencije putem iterativnog stvaranja vlastitih podataka o obuci, a u teoriji bi se mogli upotrijebiti da se jezični modeli nadiđu inteligenciju na ljudskoj razini, rekao je za Reuters jedan od njegovih kreatora, profesor na Stanfordu Noah Goodman.
"Mislim da je to i uzbudljivo i zastrašujuće... ako stvari nastave u tom smjeru, moramo razmisliti o nekim ozbiljnim stvarima kao ljudi", rekao je Goodman. Goodman nije povezan s OpenAI-jem i nije upoznat sa "Strawberryjem".
Među mogućnostima na koje OpenAI cilja s projektom "Strawberry" je izvođenje zadataka dugog horizonta (LHT), kaže se u dokumentu, pozivajući se na složene zadatke koji zahtijevaju model za planiranje unaprijed i izvođenje niza radnji tijekom duljeg vremenskog razdoblja, objasnio je prvi izvor. .
Kako bi to učinio, OpenAI stvara, obučava i ocjenjuje modele na onome što tvrtka naziva skupom podataka "dubokog istraživanja", prema internoj dokumentaciji OpenAI-ja. Reuters nije uspio utvrditi što se nalazi u tom skupu podataka ili koliko bi produljeno razdoblje značilo.
OpenAI izričito želi da njegovi modeli koriste ove mogućnosti za provođenje istraživanja autonomnim pregledavanjem weba uz pomoć "CUA" ili agenta koji koristi računalo, koji može poduzeti radnje na temelju svojih nalaza, prema dokumentu i jednom od izvor. OpenAI također planira testirati svoje sposobnosti u obavljanju poslova inženjera softvera i strojnog učenja.
