Bland.ai, l'agente telefonico del futuro, Magic e l'LLM da 100 milioni di token di context

100M Token Context Windows

Magic, in collaborazione con Google Cloud, ha lanciato un modello di AI in grado di processare contesti impressionanti, fino a 100 milioni di token.

Questo progresso potrebbe rivoluzionare la sintesi del codice e altre applicazioni. Il loro modello LTM-2-mini, addestrato su hashes, offre vantaggi in termini di costi e memoria rispetto ad altri modelli. Magic ha inoltre introdotto HashHop, una metrica di valutazione che elimina i suggerimenti impliciti, fornendo risultati più accurati.

Sono inoltre previsti due nuovi supercomputer su Google Cloud, potenziati da NVIDIA.

Magic ha recentemente raccolto 465 milioni di dollari in nuovi finanziamenti. 🚀

100M Token Context Windows — Magic

Research update on ultra-long context models, our partnership with Google Cloud, and new funding.

https://magic.dev/blog/100m-token-context-windows

How to Achieve Near Human-Level Performance in Chunking for RAGs

Le applicazioni di Retrieval-Augmented Generation (RAG) stanno diventando sempre più importanti nel campo dell'intelligenza artificiale.

Un aspetto cruciale per il corretto funzionamento è il processo di chunking, ovvero la suddivisione del testo in frammenti più piccoli. Un recente articolo pubblicato su Towards Data Science esplora una tecnica innovativa chiamata "chunking agentico", che promette di migliorare significativamente le prestazioni dei sistemi RAG.

Tradizionalmente, le tecniche di chunking più comuni includono la divisione ricorsiva dei caratteri e lo splitting semantico. La prima utilizza un approccio a finestra scorrevole con una lunghezza fissa di token, mentre la seconda divide il testo in base ai cambiamenti significativi tra frasi consecutive.

Tuttavia, entrambe presentano limitazioni.La divisione ricorsiva dei caratteri non garantisce che un tema sia contenuto interamente all'interno di una singola finestra, rischiando di frammentare il contesto. Dall'altra parte, lo splitting semantico, pur catturando meglio i temi, non riesce a collegare concetti simili che potrebbero trovarsi in parti distanti del testo.È qui che entra in gioco il chunking agentico. Questa tecnica innovativa mira a superare le limitazioni delle metodologie esistenti, offrendo una soluzione più sofisticata per la suddivisione del testo.

L'approccio agentico considera non solo la struttura superficiale del testo, ma anche le relazioni semantiche tra le diverse parti del documento.Utilizza algoritmi avanzati per analizzare il contenuto e identificare collegamenti tematici, anche tra sezioni apparentemente non correlate. Questo permette di creare chunk più coerenti e informativi, che possono migliorare significativamente la qualità dei risultati nelle applicazioni RAG.

I vantaggi potenziali di questa tecnica sono molteplici:

• Miglior conservazione del contesto: I chunk creati mantengono una maggiore coerenza tematica, riducendo la perdita di informazioni cruciali.

• Recupero più accurato: La qualità superiore dei chunk si traduce in un recupero più preciso delle informazioni pertinenti.

• Generazione di risposte più pertinenti: Con un contesto più ricco e accurato, i modelli linguistici possono generare risposte più appropriate e informative.

• Efficienza computazionale: Nonostante la maggiore complessità dell'algoritmo di chunking, l'approccio agentico può portare a una riduzione del numero totale di chunk, ottimizzando così l'uso delle risorse computazionali.

Tuttavia, è importante notare che l'implementazione del chunking agentico richiede una maggiore complessità algoritmica e potrebbe necessitare di risorse computazionali aggiuntive nella fase di preprocessing.

Gli sviluppatori dovranno valutare attentamente il trade-off tra il miglioramento delle prestazioni e l'aumento dei costi computazionali.In conclusione, il chunking agentico rappresenta un'evoluzione promettente nelle tecniche di elaborazione del testo per le applicazioni RAG.

Mentre la ricerca in questo campo continua, è probabile che vedremo ulteriori raffinamenti e ottimizzazioni di questa tecnica. Gli sviluppatori e i ricercatori nel campo dell'AI dovrebbero tenere d'occhio questi sviluppi, poiché potrebbero portare a significativi miglioramenti nelle prestazioni dei sistemi basati su RAG.