Un sito di Francesco Mugnai
Insights, novità e riflessioni su mondo in rapida evoluzione.
Ospitare autonomamente un LLM come LLaMA 3.1 da 70 miliardi di parametri può sembrare una sfida, ma con le giuste ottimizzazioni hardware come GPU adeguate, tecniche di quantizzazione e sharding, è possibile farlo senza spendere una fortuna. Soluzioni cloud ibride offrono un buon compromesso tra costi e flessibilità, mantenendo il controllo sui dati
Replit ha lanciato Replit Agent, un assistente AI che trasforma le istruzioni in linguaggio naturale in codice funzionante. Ideale per chi non ha un background tecnico, l'agente permette di dare vita a idee rapidamente e gestisce automaticamente la configurazione di server e database!
MFLUX porta FLUX nel mondo Apple con un porting accurato in Apple MLX. Caratteristiche principali: codice leggibile, minimalismo senza configurazioni inutili e dipendenze ridotte. Supporta i modelli FLUX.1-Schnell e FLUX.1-Dev ed è facilissimo da installare con pip. La generazione di immagini è configurabile via comando e supporta la quantizzazione per migliorare le prestazioni su Mac.
Bland, l'agente telefonico AI che "parla" come un umano e sa gestire chiamate in più lingue, riceve un finanziamento di 22 milioni. Intanto, Magic e Google Cloud lanciano un modello AI impressionante che gestisce contesti fino a 100 milioni di token, promettendo di rivoluzionare la sintesi del codice e non solo.