È ora di svelare qualcosa di entusiasmante che bolliva in laboratorio: DB-1, il nostro framework per dare una marcia in più alle capacità di ragionamento degli LLM.

Dopo aver realizzato la nostra funzione Enhanced Reasoning qualche tempo fa, volevamo fare qualcosa di nuovo. Finora siamo piuttosto soddisfatti, anche se lo definirei senza dubbio un prodotto in beta.

Nota: Anche se nell’interfaccia appare come una selezione del modello, sotto il cofano è un framework specifico “avvolto” attorno ad altri modelli: non voglio attribuirmi meriti che non mi competono, soprattutto perché ciò che stiamo facendo è davvero unico.

Forse hai visto il rumore attorno a modelli come o3 e Gemini 2.5, oppure, se segui proprio tutto, Sky-T1, che riescono a ragionare scalando il “calcolo a tempo di test” (test-time compute): il tempo che impiegano a risponderti, invece del tempo che serve per addestrare il modello all’inizio. Ecco, noi abbiamo lavorato su un nostro approccio e… è diverso. In senso buono!

Cosa rende speciale DB-1?

Invece di addestrare un nuovo modello di frontiera da zero (che, diciamocelo, costa una fortuna — a parte l’impressionante fine-tuning da 450$ di Sky-T1), abbiamo sviluppato un framework che può avvolgere gli LLM esistenti come un maglione da super-cervello bello comodo.

Abbiamo costruito guardrail architetturali specifici e prompt di ragionamento che permettono a modelli (già esistenti!) di affrontare i problemi in modo flessibile. Questo approccio consente agli LLM di rivalutare le ipotesi iniziali e mettere in discussione i propri passaggi logici in modo un po’ più sofisticato rispetto al dire “pensiamoci passo dopo passo” (anche se quel trucco funziona ancora alla grande! Si chiama chain of thought, se non ne hai mai sentito parlare — e se non hai mai provato a usarlo nei tuoi prompt, fai un tentativo: potresti sorprenderti di quanto bene funzioni!).

La salsa segreta di DatBot (beh, solo un po’)

Non spiegherò esattamente come funziona DB-1, perché è un mio approccio personale (qualcosa si intuisce già leggendo l’output — DatBot espone l’intero processo di ragionamento). Però ecco cosa posso dire:

• È un framework, non un modello — quindi posso usarlo con diversi LLM: l’ho testato con alcuni e con certi funziona meglio che con altri.
• Usa tecniche avanzate di prompting (permettendo a modelli non “di ragionamento” di ragionare come o1 o QwQ; Sky-T1 è modellato su QwQ — nota: in DatBot abbiamo sia QwQ sia o1 disponibili da provare).
• Ha guardrail architetturali integrati per mantenere il ragionamento sui binari.
• Consente output auto-coerenti molto più lunghi di qualunque altro modello, incluse le risposte di o1 e QwQ.
• Funziona bene anche per compiti creativi, a differenza dei modelli di ragionamento tradizionali, per via di come gestisce il processo di ragionamento.
• Ogni tanto si… perde nei propri pensieri e va in errore. Quindi trattalo un po’ come un astronauta svampito, e per favore cerca di non arrabbiarti se ogni tanto si mangia qualche credito: è solo finito a pensare!
• attenzione — Se usi Sherlock come “tono”… preparati a risultati… molto lunghi. Analisi ottima, solo… lunga. Lunghissima.

La scienza dietro

Siamo solo uno in una lunga serie di ricercatori che provano vari modi di scalare il test-time compute. Una ricerca di DeepMind, pubblicata qui ad esempio, “Scaling LLM Test-Time Compute Optimally”, mostra che un uso intelligente del calcolo a tempo di test (cioè mentre ti risponde) può essere più efficiente che addestrare un modello più grande. Anzi: hanno scoperto che, se ottimizzato, un modello più piccolo può eguagliare le prestazioni di un modello 14 volte più grande!

Il nostro framework prende questo tipo di intuizioni e le applica in modo pratico, (per lo più) pronto per la produzione, così da poterle poi mettere a disposizione anche a te.

Perché conta

Guarda: addestrare modelli enormi è fantastico — senza, non saremmo qui. Ma non tutti hanno accesso a decine di milioni di dollari di budget di calcolo (purtroppo, nemmeno noi). Volevamo creare qualcosa che potesse democratizzare capacità di ragionamento avanzate: qualcosa che funzioni con i modelli a cui hai già accesso e che possiamo migliorare in parallelo con i giganti del settore, per estendere ancora di più il loro lavoro per il resto di noi.

E adesso?

Stiamo ancora ritoccando DB-1, e ci farebbe davvero piacere sentirti! Come lo stai usando?

Che tipo di compiti gli hai lanciato? Ha funzionato? È andato malissimo? Buttami due righe a [email protected] con esperienze o domande.