Apple e l’AI: checklist e feedback migliorano i modelli linguistici

Nel panorama sempre più competitivo dell’intelligenza artificiale, Apple propone un approccio innovativo molto interessante rispetto agli standard della precisione nei modelli linguistici di grandi dimensioni. La nuova metodologia, basata sull’uso sistematico delle checklist, introduce una ventata di novità in un settore dove la qualità delle risposte dei LLM (Large Language Models) è spesso oggetto di discussione.

Il cuore pulsante di questo nuovo approccio si chiama Reinforcement Learning from Checklist Feedback (RLCF): un sistema che, a differenza del tradizionale reinforcement learning basato sul feedback umano (RLHF), si fonda su liste di controllo dettagliate per guidare l’AI verso soluzioni più solide e coerenti. In altre parole, non ci si limita più a valutare genericamente la bontà di una risposta, ma si verifica puntualmente il rispetto di ogni singolo requisito specificato dalla checklist. Un cambio di prospettiva che, nei fatti, si traduce in risposte meno “furbe” e più concrete, soprattutto nei casi in cui le istruzioni dell’utente siano complesse o articolate su più passaggi.

Apple ha sviluppato un dataset proprietario, battezzato WildChecklists, che raccoglie oltre 130.000 liste di controllo associate a una vasta gamma di istruzioni. Un vero e proprio tesoro di dati, generato automaticamente grazie all’impiego di modelli di ultima generazione come Qwen2.5, disponibili in taglie che vanno da 0,5B a 72B parametri. Il funzionamento è semplice quanto efficace: per ogni richiesta dell’utente, il sistema genera una serie di requisiti concreti, attribuendo un peso specifico a ciascuno e calcolando il punteggio finale in base alla loro soddisfazione. Un approccio che ricorda, per certi versi, la logica dei sistemi di qualità industriale, dove nulla viene lasciato al caso e ogni passaggio è tracciato con la massima precisione.

Detto ciò, come ogni innovazione che si rispetti, anche il metodo RLCF presenta alcune limitazioni che è bene sottolineare. In primo luogo, la tecnologia è stata testata prevalentemente su task di instruction following e potrebbe non essere altrettanto efficace per altri tipi di allineamento, come ad esempio la sicurezza. Inoltre, il sistema richiede la presenza di un modello più potente che funge da “giudice” per addestrare i modelli più piccoli, un aspetto che ne limita l’applicabilità in ambienti dove le risorse computazionali sono ridotte. Si tratta di sfide tutt’altro che banali, che però non oscurano il valore aggiunto introdotto da questa metodologia.