Anthropic ha introdotto una nuova funzionalità in beta pubblica per il suo modello di intelligenza artificiale Claude 3.5 Sonnet, che consente all’IA di interagire con un computer in modo simile a un essere umano. Questa capacità, denominata “computer use”, permette a Claude di analizzare lo schermo, muovere il cursore, cliccare su pulsanti e digitare testo. La funzionalità è attualmente disponibile tramite API, offrendo agli sviluppatori la possibilità di integrare Claude in applicazioni che richiedono l’interazione con un computer. Un video dimostrativo mostra Claude all’opera su un Mac, aprendo nuove prospettive per l’automazione di processi e l’assistenza agli utenti.
Sebbene altre aziende come Microsoft (con Copilot Vision), OpenAI (con l’app desktop per ChatGPT) e Google (con Gemini per Android) abbiano già esplorato l’interazione tra IA e schermo del computer, Anthropic sembra essere la prima a rilasciare strumenti di questo tipo su larga scala. È importante notare che la funzionalità “computer use” è ancora in fase sperimentale e, come sottolineato da Anthropic, può presentare limiti in termini di precisione e fluidità. Alcune azioni comuni, come il trascinamento e lo zoom, non sono ancora supportate da Claude. Inoltre, il sistema di analisi dello schermo, basato su una serie di screenshot anziché su un flusso video continuo, può comportare la mancata rilevazione di elementi temporanei come notifiche.Anthropic ha inoltre implementato misure di sicurezza per limitare l’utilizzo di Claude in ambiti sensibili. Ad esempio, sono presenti meccanismi per evitare che l’IA venga impiegata per attività legate alle elezioni, per la generazione e pubblicazione di contenuti sui social media, per la registrazione di domini web o per l’interazione con siti governativi. Oltre alla nuova funzionalità “computer use”, Claude 3.5 Sonnet presenta miglioramenti significativi in diversi benchmark, in particolare per quanto riguarda la codifica e l’utilizzo di strumenti. Le prestazioni in ambito di codifica sono aumentate notevolmente, superando quelle di altri modelli pubblici, inclusi modelli di ragionamento come OpenAI o1-preview e sistemi specializzati.