O echipă de cercetători români a creat un model de limbaj (LLM – „large language model”) dedicat limbii române, ce poate fi folosit pentru dezvoltarea unor unelte și platforme A.I. Noul model este „open source”, deci va putea fi accesat și folosit de oricine dorește să construiască instrumente bazate pe inteligența artificială.
Odată cu publicarea acestui LLM, inițiatorii proiectului lansează și comunitatea OpenLLM-Ro, care dorește să-i aducă împreună pe toți cei care vor să contribuie în diverse forme la dezvoltarea tehnologiilor A.I. pentru limba română. Proiectele au fost inițiate și derulate de către POLITEHNICA București, Universitatea din București și Institutul de Logica și Știința Datelor, cu sprijinul BRD Groupe Société Générale.
Modelul românesc lansat astăzi este adaptarea unui LLM public dezvoltat în principal pentru limba engleză, expus la câteva milioane de documente în limba română, pentru a înțelege mai bine semnificația cuvintelor.
„Câteva dintre exemplele de utilizare ale modelului românesc sunt: căutarea de informații în baza de cunoștințe a unei organizații, cu ghiduri și proceduri de lucru, sau roboți conversaționali pentru clienții companiilor sau ai instituțiilor care să îi ghideze în parcurgerea pașilor necesari pentru utilizarea unui produs sau serviciu. În ambele cazuri, angajații și/sau clienții economisesc timp în accesarea informației, beneficiind în multe situații și de îmbunătățirea calității acesteia”, a spus Alin Ștefănescu, directorul Departamentului de Informatică din cadrul Universității din București și vicepreședintele Institutului de Logică și Știința Datelor.
Efortul de specializare a unui model dedicat unei limbi este frecvent coordonat de către comunitatea academică asociată limbii respective, exemple recente fiind din țări precum Franța, Germania, Spania, Finlanda, Bulgaria. Resursele necesare sunt însă considerabile atât din punct de vedere al infrastructurii tehnice necesare (de exemplu, hardware dedicat, precum plăci grafice de mare putere) cât și în ce privește cercetătorii și programatorii experimentați. Este deci nevoie de o susținere pe scară largă și pe termen mediu și lung din partea multor actori-cheie ai societății: mediul economic, cel academic și nu în ultimul rând mediul guvernamental, prin programele dedicate dezvoltării tehnologiilor de Inteligență Artificială.
De aceea, dezvoltatorii acestui model lansează în același timp și comunitatea OpenLLM.ro pentru a facilita interacțiunea între diverși actori ce doresc să contribuie la dezvoltarea acestei tehnologii pentru limba română și lansarea unor modele specializate pentru anumite domenii. „Sperăm ca lansarea acestui model să fie doar începutul unui efort de lungă durată din care să rezulte LLM-uri mai bune pentru limba română. Deja am descoperit o metodă pe care vrem să o aplicăm altor modele lansate recent (Llama-3 și Mistral) și care au performanțe în general mai bune ca cel de la care am pornit (Llama-2). Totuși, pentru a avea modele performante pentru limba română avem nevoie de 2 tipuri de resurse: colecții de date mari și curatoriate, de calitate bună, precum și resurse hardware (în special, GPU-uri pentru antrenarea modelelor). Sperăm ca atât entitățile private, cât și cele publice să înțeleagă importanța dezvoltării modelelor mari de limbaj și multimodale (text-imagini) pentru limba română. Pe toți îi așteptăm să ni se alăture în cadrul inițiativei OpenLLM-Ro și a proiectelor de cercetare care o vor sprijini”, a declarat Traian Rebedea, conferențiar la POLITEHNICA București și cercetător principal la NVIDIA, unul dintre coordonatorii tehnici ai inițiativei OpenLLM-Ro.
Raportul tehnic poate fi găsit AICI
Modelul LLM poate fi descărcat de pe platforma Hugging Face AICI.
Codul asociat modelului poate fi descărcat de pe GitHub AICI.
Alte detalii despre proiect AICI.
