Os óculos inteligentes Ray-Ban da Meta usam IA para ver, ouvir e falar. Como eles são?

Num sinal de que a indústria de tecnologia está cada vez mais estranha, a Meta planeja lançar em breve uma grande atualização que transforma o Ray-Ban Meta, seus óculos com câmera que gravam vídeos, em um gadget visto apenas em filmes de ficção científica.

No próximo mês, os óculos poderão usar um novo software de inteligência artificial para ver o mundo real e descrever o que você está vendo, semelhante ao assistente de IA do filme “Her”.

Os óculos, que vêm em diversas armações a partir de US$ 300 e lentes a partir de US$ 17, têm sido usados ​​principalmente para tirar fotos e vídeos e ouvir música. Mas com o novo software de IA, podem ser usados ​​para digitalizar pontos de referência famosos, traduzir idiomas e identificar raças de animais e frutas exóticas, entre outras tarefas.

Para usar o software de IA, os usuários apenas dizem “Ei, Meta”, seguido de uma mensagem como “Olhe e me diga que tipo de cachorro é esse”. A IA então responde com uma voz gerada por computador que é reproduzida nos minúsculos alto-falantes dos óculos.

O conceito do software de IA é tão novo e peculiar que quando nós – Brian X. Chen, colunista de tecnologia que analisou os Ray-Bans no ano passado, e Mike Isaac, que cobre Meta e usa óculos inteligentes para produzir um programa de culinária – ouvimos falar disso, estávamos morrendo de vontade de experimentar. Meta nos deu acesso antecipado à atualização e testamos a tecnologia nas últimas semanas.

Usamos os óculos para ir ao zoológico, supermercados e museus enquanto questionávamos a IA com perguntas e solicitações.

Resultado: ficamos simultaneamente entretidos com as brincadeiras do assistente virtual – por exemplo, confundir um macaco com uma girafa – e impressionados quando ele executou tarefas úteis, como determinar se um pacote de biscoitos não continha glúten.

Um porta-voz da Meta disse que, como a tecnologia ainda era nova, a inteligência artificial nem sempre acertaria e que o feedback melhoraria os óculos com o tempo.

O software da Meta também criou transcrições de nossas perguntas e das respostas da IA, que capturamos em capturas de tela. Aqui estão os destaques do nosso mês de convivência com o assistente do Meta.

Animais de estimação

BRIAN: Naturalmente, a primeira coisa que experimentei a IA do Meta foi meu corgi, Max. Olhei para o cão rechonchudo e perguntei: “Ei, Meta, o que estou olhando?”

“Um lindo cachorro Corgi sentado no chão com a língua de fora”, disse o assistente. Correto, especialmente a parte sobre ser fofo.

MIKE: A IA da Meta reconheceu corretamente minha cadela, Bruna, como um “cachorro Bernese Mountain preto e marrom”. Eu meio que esperava que o software de IA pensasse que ela era um urso, o animal com o qual ela é mais consistentemente confundida pelos vizinhos.

Animais do zoológico

BRIAN: Depois que a IA identificou corretamente meu cachorro, o próximo passo lógico foi testá-lo em animais de zoológico. Por isso, visitei recentemente o Zoológico de Oakland, em Oakland, Califórnia, onde, durante duas horas, observei cerca de uma dúzia de animais, incluindo papagaios, tartarugas, macacos e zebras. Eu disse: “Ei, Meta, olhe e me diga que tipo de animal é esse”.

A IA errou na grande maioria das vezes, em parte porque muitos animais estavam enjaulados e mais distantes. Confundiu um primata com uma girafa, um pato com uma tartaruga e um suricato com um panda gigante, entre outras confusões. Por outro lado, fiquei impressionado quando a IA identificou corretamente uma raça específica de papagaio conhecida como arara-azul e dourada, bem como zebras.

A parte mais estranha deste experimento foi conversar com um assistente de IA perto de crianças e seus pais. Eles fingiram não ouvir o único adulto sozinho no parque enquanto eu aparentemente murmurava para mim mesmo.

Comida

MIKE: Eu também tive um momento peculiar de fazer compras. Estar dentro de um Safeway e falar sozinho foi um pouco constrangedor, então tentei manter a voz baixa. Ainda recebi alguns olhares de soslaio.

Quando a IA do Meta funcionou, foi encantador. Peguei um pacote de Oreos de aparência estranha e pedi que olhasse a embalagem e me dissesse se não continha glúten. (Não eram.) Ele respondeu perguntas como essas corretamente na metade das vezes, embora eu não possa dizer que economizou tempo em comparação com a leitura do rótulo.

Mas a razão pela qual comprei esses óculos foi para começar o meu próprio Programa de culinária do Instagram – uma forma lisonjeira de dizer que me gravo fazendo comida para a semana enquanto converso sozinho. Esses óculos tornaram muito mais fácil fazer isso do que usar um telefone e uma mão.

O assistente de IA também pode oferecer ajuda na cozinha. Se eu precisar saber quantas colheres de chá tem uma colher de sopa e minhas mãos estiverem cobertas de azeite, por exemplo, posso pedir que me diga. (Existem três colheres de chá em uma colher de sopa, apenas para sua informação.)

Mas quando pedi à IA que analisasse alguns ingredientes que eu tinha e criasse uma receita, ela cuspiu instruções rápidas para um creme de ovo – o que não é exatamente útil para seguir as instruções no meu próprio ritmo.

Alguns exemplos para escolher poderiam ter sido mais úteis, mas isso pode exigir ajustes na interface do usuário e talvez até mesmo uma tela dentro das minhas lentes.

Um porta-voz da Meta disse que os usuários poderiam fazer perguntas de acompanhamento para obter respostas mais precisas e úteis de seu assistente.

BRIAN: Fui ao supermercado e comprei a fruta mais exótica que encontrei – uma cherimóia, uma fruta verde escamosa que parece um ovo de dinossauro. Quando dei à IA do Meta múltiplas chances de identificá-lo, ele fez um palpite diferente a cada vez: uma noz-pecã com cobertura de chocolate, uma fruta com caroço, uma maçã e, finalmente, um durião, que estava perto, mas sem banana.

Monumentos e Museus

MIKE: A capacidade do novo software de reconhecer pontos de referência e monumentos parecia estar funcionando. Olhando para uma cúpula imponente em um quarteirão no centro de São Francisco, a IA da Meta respondeu corretamente: “Prefeitura”. Esse é um truque interessante e talvez útil se você for um turista.

Outras vezes foram um sucesso ou um fracasso. Enquanto dirigia da cidade para minha casa em Oakland, perguntei a Meta em que ponte eu estava enquanto olhava pela janela à minha frente (ambas as mãos no volante, é claro). A primeira resposta foi a Ponte Golden Gate, que estava errada. Na segunda tentativa, descobri que eu estava na Bay Bridge, o que me fez pensar se seria necessário apenas uma imagem mais nítida dos altos postes de suspensão brancos da parte mais recente para acertar.

BRIAN: Visitei o Museu de Arte Moderna de São Francisco para verificar se a IA do Meta poderia fazer o trabalho de um guia turístico. Depois de tirar fotos de cerca de duas dúzias de pinturas e pedir ao assistente que me falasse sobre a obra de arte que eu estava vendo, a IA conseguiu descrever as imagens e qual mídia foi usada para compor a arte – o que seria bom para um estudante de história da arte. – mas não conseguiu identificar o artista ou o título. (Um porta-voz da Meta disse que outra atualização de software lançada após minha visita ao museu melhorou essa capacidade.)

Após a atualização, tentei ver imagens na tela do meu computador de obras de arte mais famosas, incluindo a Mona Lisa, e a IA as identificou corretamente.

línguas

BRIAN: Em um restaurante chinês, apontei para um item de menu escrito em chinês e pedi ao Meta que o traduzisse para o inglês, mas a IA disse que atualmente só suportava inglês, espanhol, italiano, francês e alemão. (Fiquei surpreso porque Mark Zuckerberg aprendeu mandarim.)

MIKE: Ele fez um ótimo trabalho ao traduzir o título de um livro do inglês para o alemão.

Conclusão

Os óculos com tecnologia de IA da Meta oferecem uma visão intrigante de um futuro que parece distante. As falhas ressaltam as limitações e desafios na concepção deste tipo de produto. Os óculos provavelmente conseguiriam identificar melhor animais de zoológico e frutas, por exemplo, se a câmera tivesse uma resolução mais alta – mas uma lente melhor acrescentaria volume. E não importava onde estivéssemos, era estranho falar em público com uma assistente virtual. Não está claro se isso parecerá normal.

Mas quando funcionou, funcionou bem e nos divertimos – e o fato de que a IA da Meta pode fazer coisas como traduzir idiomas e identificar pontos de referência através de um par de óculos modernos mostra o quão longe a tecnologia avançou.