In vista del debutto di iOS 18, Apple ha rilasciato una famiglia di modelli linguistici di grandi dimensioni open source. Chiamati OpenELM, Apple li descrive come “una famiglia di modelli linguistici efficienti open source”.
Nei suoi test, Apple afferma che OpenELM offre prestazioni simili ad altri modelli di linguaggio open, ma con meno dati di addestramento.
A tal fine, rilasciamo OpenELM, un modello di linguaggio aperto e all’avanguardia. OpenELM utilizza una strategia di ridimensionamento per allocare in modo efficiente i parametri all’interno di ciascun livello del modello, garantendo una maggiore precisione. Ad esempio, con un budget di circa un miliardo di parametri, OpenELM mostra un miglioramento della precisione del 2,36% rispetto a OLMo richiedendo al tempo stesso il doppio dei token di pre-addestramento.
Questa versione include il framework completo per l’addestramento e la valutazione del modello linguistico su set di dati disponibili pubblicamente, inclusi registri di addestramento, checkpoint multipli e pre-addestramento.
Maggiori info sono disponibili qui.