#!trpst#trp-gettext data-trpgettextoriginal=1#!trpen#Skip to content#!trpst#/trp-gettext#!trpen#

Il progetto Research Supercluster

Il team di Meta AI il 18 Maggio 2023 ha tenuto una presentazione per condividere un aggiornamento sul loro progetto di ricerca denominato “Research Supercluster” (RSC). Hanno iniziato l’effort nel 2021 e completato la prima fase nel 2022, finalizzando tutto entro ottobre-novembre. La motivazione alla base della costruzione di questo supercluster di ricerca è il fatto che Meta ha utilizzato l’intelligenza artificiale (IA) in molteplici modi per molti anni, sia per identificare contenuti dannosi, tossici o tendenziosi nelle loro applicazioni, sia per la traduzione istantanea delle lingue attraverso il machine learning. L’uso dell’IA è essenziale per le piattaforme di realtà aumentata (AR) e realtà virtuale (VR), poiché influisce sulla posizione dell’utente nello spazio, sui movimenti delle mani e su altre funzioni.

La presentazione ha evidenziato che l’IA svolge un ruolo sempre più importante man mano che queste piattaforme crescono in importanza e portata, coinvolgendo miliardi di utenti in diversi paesi. La scala ambiziosa di questo lavoro richiede una ricerca solida per sostenerla. Inoltre, è importante considerare l’utilizzo dei dati per addestrare i modelli di ricerca, assicurandosi che siano registrati, memorizzati in modo appropriato e criptati. L’accesso alla piattaforma di ricerca deve essere controllato per prevenire accessi non autorizzati.

Il team ha spiegato che la loro community di ricerca cerca costantemente modi per aumentare la quantità, la qualità e la fonte dei dati al fine di migliorare l’addestramento dei modelli. Ad esempio, possono addestrare un modello linguistico utilizzando solo testo o combinare testo e immagini per ottenere risultati più ricchi. Inoltre, possono aumentare la complessità del modello aggiungendo parametri o lavorando su pre- e post-processing.

Tuttavia, tutto ciò richiede un apprendimento dai risultati ottenuti, apportando miglioramenti e modifiche iterativamente. Questo richiede un’iterazione rapida e un’innovazione veloce, il che implica la disponibilità di risorse sufficienti per condurre le indagini e ottenere i risultati finali. Il team ha fatto notare come l’uso dei grandi modelli linguistici sia cresciuto esponenzialmente negli ultimi anni, con un numero sempre maggiore di parametri. Hanno quindi deciso di investire in un supercluster per affrontare questa sfida.

La presentazione ha evidenziato che la costruzione di un cluster di questa portata richiede tempo e pianificazione. Durante il processo di costruzione del RSC, il team ha dovuto affrontare le sfide derivanti dall’impatto della pandemia sulle catene di approvvigionamento. Tuttavia, dopo un impegno di diversi anni, sono riusciti a completare il cluster e a renderlo completamente funzionale.

Il team ha sottolineato che il RSC offre due modi fondamentali per scalare: la possibilità di aumentare le dimensioni dei modelli di IA esistenti, portando a migliaia di GPU per un singolo modello, e la capacità di eseguire contemporaneamente molti progetti senza interruzioni grazie all’architettura della rete.

Progetto Llama, un modello linguistico di traduzione automatica universale

Sono stati presentati due casi di studio: il progetto Llama e il progetto “No Language Left Behind” (NLB). Nel progetto Llama, il team ha addestrato modelli con parametri più piccoli per aiutare i ricercatori a comprendere meglio i grandi modelli linguistici e innovare ulteriormente. L’utilizzo del RSC ha permesso di accelerare significativamente i tempi di addestramento e di ottenere risultati migliori.

Nel progetto NLB, il team si è focalizzato sulla traduzione automatica per lingue con pochi dati disponibili su Internet. L’utilizzo del RSC ha consentito di ridurre notevolmente i tempi di addestramento, consentendo di ottenere risultati migliori e di rispettare le scadenze.

La presentazione si è conclusa affermando che il RSC offre un modo per scalare sia in termini di dimensioni dei modelli che di numero di progetti in esecuzione contemporanea. Il team continuerà a investire nell’innovazione dell’infrastruttura, con l’obiettivo di migliorare le pratiche ingegneristiche e condividere le loro esperienze con la community.

#!trpst#trp-gettext data-trpgettextoriginal=1160#!trpen#Tags#!trpst#/trp-gettext#!trpen#:

#!trpst#trp-gettext data-trpgettextoriginal=1156#!trpen#Leave a Reply#!trpst#/trp-gettext#!trpen#

#!trpst#trp-gettext data-trpgettextoriginal=1155#!trpen#Your email address will not be published.#!trpst#/trp-gettext#!trpen# #!trpst#trp-gettext data-trpgettextoriginal=1147#!trpen#Required fields are marked *#!trpst#/trp-gettext#!trpen#

en_USEnglish