Un modello eseguito localmente viene spesso presentato come risposta semplice ai problemi di privacy e dipendenza dal cloud. In realtà sposta il lavoro: dati e richieste restano più vicini all’organizzazione, ma aggiornamenti, sicurezza e prestazioni diventano responsabilità dirette.
Una valutazione utile parte da un insieme di richieste rappresentative, non da pochi esempi scelti a mano. Bisogna misurare errori, tempi di risposta, memoria occupata, consumo energetico e comportamento davanti a dati incompleti.
Il confronto con un servizio remoto va fatto a parità di compito. Un modello più piccolo può essere sufficiente per classificare documenti o estrarre campi; non è detto che sia adatto a generare testo lungo o a sostenere dialoghi complessi.
Il risultato migliore è spesso un’architettura ibrida con confini chiari: dati sensibili localmente, compiti non sensibili su servizi esterni, log minimizzati e possibilità di disattivare ogni componente.