Liquid AI ha pubblicato LFM3, una nuova famiglia di modelli di intelligenza artificiale compatti (circa 2 miliardi di parametri) pensati per girare direttamente su dispositivo. La versione di punta, LFM3-Omni-2B, gestisce testo, immagini, video e audio in un unico sistema, sostituendo quattro modelli separati — riconoscimento vocale, visione, linguaggio e sintesi vocale — con un solo modello capace di vedere, ascoltare e rispondere a voce.
In breve
- LFM3 riunisce sei modelli specializzati (testo, visione, audio, omni, decisione) su un'unica architettura di base, tutti nella fascia dei 2 miliardi di parametri.
- LFM3-Omni-2B è il primo modello "omni" della famiglia: prende in input testo, immagini, video e audio, e risponde sia in testo sia a voce.
- Il modello testuale LFM3-1.7B supera il precedente LFM2.5-2.6B usando il 35% di parametri in meno.
- La versione testuale pesa circa 1 GB a precisione 4-bit e gestisce una finestra di contesto fino a 256.000 token, caratteristiche pensate per funzionare su dispositivi con risorse limitate.
- Tutti i modelli sono open-weight, disponibili su Hugging Face, e si possono personalizzare con un addestramento aggiuntivo su una singola GPU.
Cos'è la famiglia LFM3?
LFM3 è la nuova generazione dei Liquid Foundation Models di Liquid AI, costruita per fare da punto di partenza a sistemi di intelligenza artificiale specializzati. Invece di un unico modello generico di grandi dimensioni, la famiglia propone sei modelli distinti — testo, visione, audio, omni e due modelli di decisione (d1) — che condividono la stessa architettura di base, chiamata LFM3-1.7B-Base.
Questa architettura combina convoluzioni brevi e meccanismi di attenzione in una struttura descritta come "tri-ibrida": 13 strati di convoluzione con gating, 5 strati di attenzione a finestra scorrevole e 6 strati di attenzione globale. Il risultato, secondo i dati pubblicati, è un modello che a parità di dimensioni fa di più: LFM3-1.7B supera LFM2.5-2.6B pur avendo il 35% di parametri in meno, con i guadagni più marcati sui compiti agentivi (come l'uso di strumenti e la navigazione web).
Ogni modello della famiglia nasce da LFM3-1.7B-Base e aggiunge componenti specifici per la propria modalità: un encoder visivo per LFM3-VL-2B, un encoder e decoder audio per LFM3-Audio-2B, entrambi combinati in LFM3-Omni-2B.
Come funziona LFM3-Omni-2B, il modello che vede, ascolta e parla?
LFM3-Omni-2B è pensato per sostituire la pipeline tradizionale fatta di più modelli distinti — uno per il riconoscimento vocale (ASR), uno per la comprensione di immagini, uno per il linguaggio e uno per la sintesi vocale (TTS) — con un unico sistema che gestisce tutto insieme.
In pratica, il modello può:
- rispondere a domande poste a voce su un'immagine, basando la risposta solo su ciò che è visibile;
- "guardare" un video insieme all'utente, comprendendone sia le immagini sia la colonna sonora;
- trasformare ciò che vede e sente in chiamate a strumenti esterni, utili per far compiere azioni concrete a un assistente.
L'output può essere testo, voce, o entrambi. La parte vocale è generata tramite LiquidCodec, il codec audio proprietario di Liquid AI, che converte i token generati dal modello in parlato più veloce del tempo reale: questo permette alle risposte vocali di essere trasmesse in streaming mentre il modello le genera, invece di attendere la frase completa prima di farla ascoltare. Sui benchmark di comprensione audio-video pubblicati (Daily-Omni, WorldSense e AV-SpeakerBench), LFM3-Omni-2B viene indicato come superiore a modelli fino a 10,7 miliardi di parametri, come Qwen2.5-Omni-7B.
Perché un modello "on-device" fa la differenza?
Un modello che gira direttamente sul dispositivo, senza passare per un server esterno, cambia il modo in cui si progettano assistenti vocali e visivi. LFM3-1.7B, la versione solo testo della famiglia, occupa circa 1 GB di memoria a precisione 4-bit e supporta una finestra di contesto fino a 256.000 token: abbastanza per far ragionare un agente localmente su documenti lunghi o conversazioni estese, senza dipendere da una connessione costante al cloud.
La ricerca dell'architettura alla base di LFM3 è stata condotta tenendo conto di 14 combinazioni diverse di dispositivi e piattaforme hardware, da smartphone e Raspberry Pi 5 fino a laptop, CPU cloud, GPU e NPU Qualcomm Hexagon. Anche gli encoder audio e video sono stati progettati per essere leggeri: l'encoder audio, ad esempio, è completamente causale e permette al modello di iniziare a elaborare l'input mentre l'utente sta ancora parlando, con un tempo fino al primo token di risposta di appena 50 millisecondi.
Questo tipo di efficienza è ciò che rende pensabile avere, su un singolo dispositivo locale, un assistente capace di ascoltare, vedere e rispondere senza latenze dovute al trasferimento dati verso server remoti.
Quali capacità mantiene rispetto ai modelli standalone?
LFM3-Omni-2B non è un compromesso che sacrifica le funzioni dei modelli dedicati: secondo quanto dichiarato nella documentazione tecnica, mantiene le capacità principali dei modelli LFM3 "standalone", incluso il question answering visivo (rispondere a domande su un'immagine), il riconoscimento vocale, la sintesi vocale e il seguire istruzioni.
Questo è reso possibile dal fatto che tutti i modelli della famiglia condividono la stessa base (LFM3-1.7B-Base) e si differenziano solo per gli encoder/decoder aggiunti per gestire immagini, video e audio. Chi ha bisogno solo di un modello visivo può usare LFM3-VL-2B, che è il primo modello di visione di Liquid AI a prendere in input anche il video, oltre a ragionare passo dopo passo prima di rispondere e a localizzare oggetti nelle immagini. Chi ha bisogno solo di audio può usare LFM3-Audio-2B, capace di gestire voce in 18 lingue. LFM3-Omni-2B mette insieme tutto questo in un solo modello.
Come si personalizza un modello come LFM3?
Ogni modello della famiglia LFM3 è progettato per essere adattato (fine-tuned) a un compito specifico usando una singola GPU, a differenza dei modelli generalisti di grandi dimensioni che richiedono infrastrutture più pesanti per essere personalizzati. Gli esempi pubblicati da Liquid AI includono compiti molto concreti: estrarre dati strutturati in formato JSON da documenti disordinati, rispondere solo sulla base di documenti recuperati (o dichiarare di non saperlo), chiamare lo strumento giusto tra oltre cento disponibili in un'app, leggere ricevute fotografate e trasformarle in dati strutturati, trascrivere immagini di equazioni, mappare comandi vocali per la domotica su chiamate a funzioni.
Tutti i modelli della famiglia sono open-weight e disponibili pubblicamente su Hugging Face, insieme a notebook che guidano l'intero processo di personalizzazione, dalla preparazione dei dati alla valutazione finale.
Domande frequenti
Cos'è LFM3-Omni-2B in parole semplici? È un modello di intelligenza artificiale compatto (circa 2 miliardi di parametri) che gestisce testo, immagini, video e audio in un unico sistema, sostituendo i modelli separati tradizionalmente usati per riconoscimento vocale, visione, linguaggio e sintesi vocale.
Che differenza c'è tra LFM3-Omni-2B e gli altri modelli della famiglia LFM3? LFM3-Omni-2B è l'unico modello "omni" della famiglia: prende in input testo, immagini, video e audio insieme. Gli altri modelli — LFM3-1.7B, LFM3-VL-2B, LFM3-Audio-2B — sono specializzati rispettivamente su testo, visione e audio.
Perché un modello multimodale compatto è rilevante per gli assistenti vocali e visivi? Perché un singolo modello leggero, eseguibile su dispositivo, può rispondere a domande parlate su un'immagine o un video e trasformare ciò che percepisce in azioni concrete, senza dover orchestrare più modelli separati o dipendere sempre da un server remoto.
I modelli LFM3 sono accessibili pubblicamente? Sì, secondo quanto dichiarato da Liquid AI tutti i modelli della famiglia LFM3 sono open-weight e disponibili su Hugging Face, insieme a strumenti per personalizzarli con un addestramento aggiuntivo.
Novità come LFM3 mostrano una direzione chiara: assistenti conversazionali sempre più capaci di capire voce e immagini insieme, anche su dispositivi con risorse limitate. Se vuoi capire come questo tipo di tecnologia possa tradursi in un assistente concreto per la tua attività, puoi scoprire i servizi di iNexus dedicati alle applicazioni AI su misura.