Deep Dive: Como os dados sintéticos podem aprimorar AR/VR e o Metaverso

Não conseguiu comparecer ao Transform 2022? Confira todas as sessões do Summit em nossa biblioteca sob demanda agora! Assista aqui.


Os metaversos capturaram nossa imaginação coletiva. O desenvolvimento exponencial de dispositivos conectados à Internet e conteúdo virtual está preparando o metaverso para aceitação pública, exigindo que as empresas vão além dos métodos tradicionais de criação de conteúdo do metaverso. No entanto, as tecnologias de próxima geração, como o metaverso, que empregam Inteligência Artificial (IA) E o Aprendizado de máquina (ML), depende de grandes conjuntos de dados para funcionar de forma eficaz.

Essa dependência de grandes conjuntos de dados traz novos desafios. Os usuários de tecnologia estão se tornando mais conscientes de como seus dados pessoais confidenciais são obtidos, armazenados e usados, o que levou a regulamentações destinadas a impedir que as organizações usem dados pessoais sem permissão expressa.

Sem grandes quantidades de dados precisos, é impossível treinar ou desenvolver modelos de IA/ML, o que limita severamente o desenvolvimento do metaverso. Quando esta situação se torna mais urgente, Dados sintéticos Ganhando impulso como uma solução.

Na verdade, De acordo com GartnerAté 2024, 60% dos dados necessários para criar projetos de IA e analytics serão gerados industrialmente.

algoritmos de aprendizado de máquina Gere dados sintéticos ingerindo dados reais para treinamento em padrões comportamentais e criando dados fictícios simulados que retêm as propriedades estatísticas do conjunto de dados original. Esses dados podem replicar as condições do mundo real e, ao contrário dos conjuntos de dados anonimizados padrão, não são propensos às mesmas falhas que os dados reais.

Reimaginando mundos digitais usando dados sintéticos

À medida que os desenvolvimentos de AR/VR e metaverso progridem em direção a ambientes digitais mais sutis, eles agora exigem novos recursos para que os humanos interajam perfeitamente com o mundo digital. Isso inclui a capacidade de interagir com objetos virtuais, aprimorar a renderização no dispositivo com estimativa precisa do olhar, visualizar um avatar de usuário realista e criar uma sobreposição digital 3D sólida sobre o ambiente real. Os modelos de ML aprendem objetos 3D, como redes, modelos transformáveis ​​e regras de superfície a partir de fotografias, e obter esses dados visuais para treinar esses modelos de IA é difícil.

Treinar um modelo 3D requer uma grande quantidade de dados de rosto e corpo inteiro, incluindo anotações 3D precisas. O modelo também deve ser ensinado a executar tarefas como posição da mão e estimativa de grade, estimativa de posição do corpo, análise de olhar, reconstrução de ambiente 3D e síntese de avatar para codec.

“O metaverso será alimentado por novos e poderosos modelos de aprendizado de máquina de visão computacional que podem entender o espaço 3D ao redor de um usuário, capturar movimentos com precisão, entender gestos e interações e traduzir emoções, fala e detalhes faciais em avatares realistas”, disse. Yashar BehzadiCEO e fundador da Synthesis AI, para VentureBeat.

“Para construir esses modelos básicos, você precisará de grandes quantidades de dados com rótulos 3D ricos”, disse Behzadi.

Um exemplo de apresentação de apreciação gestual para fotos digitais. Fonte: Synthesis AI

Por essas razões, o metaverso está passando por uma mudança de paradigma – afastando-se da modelagem e em direção a uma abordagem de desenvolvimento centrada em dados. Em vez de fazer melhorias incrementais em um algoritmo ou modelo, os pesquisadores podem melhorar o desempenho de um modelo de IA no metaverso de forma mais eficaz, melhorando a qualidade dos dados de treinamento.

‘Métodos tradicionais de construção visão computacional Contando com comentaristas humanos que não podem fornecer os pôsteres necessários. No entanto, dados sintéticos ou dados gerados por computador que simulam a realidade provaram ser uma nova abordagem promissora.

Ao usar dados sintéticos, as empresas podem criar dados personalizáveis ​​que podem tornar os projetos executados com mais eficiência, pois podem ser facilmente distribuídos entre as equipes de criação sem se preocupar com a conformidade com as leis de privacidade. Isso proporciona maior autonomia, permitindo que os desenvolvedores sejam mais eficientes e se concentrem em tarefas que geram receita.

Behzadi diz acreditar que o acoplamento de tecnologias CVI com modelos sintéticos de IA permitirá que tecnologias de dados sintéticos forneçam grandes quantidades de dados diversos e rotulados de forma otimizada para alimentar o metaverso.

Para melhorar a experiência do usuário, os dispositivos usados ​​para entrar no metaverso desempenham um papel igualmente importante. No entanto, o hardware deve ser suportado por um software que faça a transição entre os mundos real e virtual sem problemas, e isso seria impossível sem visão computacional.

Para funcionar corretamente, os dispositivos AR/VR precisam entender sua localização no mundo real para aumentar os usuários com um mapa 3D detalhado e preciso do ambiente virtual. Portanto, a estimativa do olhar (ou seja, saber para onde uma pessoa está olhando através de uma imagem de seu rosto e olhos) é um problema crítico para os dispositivos atuais de AR e VR. Em particular, a realidade virtual depende muito de renderização elaborada, uma técnica na qual a imagem no centro do campo de visão é produzida com alta resolução e excelentes detalhes, mas a imagem nas bordas se deteriora gradualmente.

A arquitetura de rastreamento e a estimativa do olhar para dispositivos de RV espalham uma exibição elaborada. Ou seja, a imagem no centro do campo de visão é produzida em alta resolução, mas a imagem nas bordas se deteriora gradualmente para um desempenho mais eficiente. Fonte: Synthesis AI

de acordo com Richard KerrisD., vice-presidente da plataforma de desenvolvimento Omniverse da NVIDIA, a geração de dados sintéticos pode atuar como um remédio para esses casos, pois pode fornecer exemplos visualmente precisos de casos de uso ao interagir com objetos ou criar ambientes para treinamento.

“Dados sintéticos gerados com simulação aceleram o desenvolvimento de aplicativos AR/VR, fornecendo integração de fluxos de trabalho contínuos de desenvolvimento e teste”, disse Kerris à VentureBeat. “Além disso, quando gerados a partir do gêmeo digital do mundo real, esses dados podem ajudar a treinar sistemas de IA em muitos sensores de campo próximo que são invisíveis ao olho humano, além de melhorar a precisão de rastreamento dos sensores de localização”.

Entrando na realidade virtual, é preciso ser um avatar para uma experiência social virtual imersiva. Futuros ambientes intratáveis ​​podem precisar de imagens virtuais realistas que representem pessoas reais e possam capturar suas poses. No entanto, criar tal avatar é um problema difícil de visão computacional, que agora é resolvido através do uso de dados sintéticos.

Keres explicou que o maior desafio com avatares virtuais é o quão altamente personalizados eles são. Essa geração de usuários deseja uma variedade de avatares em alta resolução, além de acessórios como roupas, penteados e emoções relacionadas, sem comprometer a privacidade.

“A geração processual de personagens humanos digitais amplamente diversos pode criar infinitamente Diferentes poses humanas Personagens animados para casos de uso específicos. “Criar ações com dados sintéticos ajuda a processar esses vários tipos de glifos”, disse Kerris.

Reconhecendo coisas com visão computacional

Para estimar a posição e as propriedades físicas de objetos 3D em mundos digitais como o metaverso, a luz deve interagir com o objeto e seu ambiente para gerar um efeito semelhante ao mundo real. Portanto, os modelos de visão computacional baseados em IA da linha metálica exigem uma compreensão das superfícies dos objetos para renderizá-los com precisão em um ambiente 3D.

de acordo com Swapnil Srivastavachefe global de dados e análises da Evalueserve, usando dados sintéticos, os modelos de IA podem prever e tornar o rastreamento mais realista com base em tipos de corpo, iluminação/iluminação, planos de fundo, ambientes e muito mais.

“Metaverso/omniverso ou ecossistemas semelhantes dependerão fortemente de humanos expressivos e comportamentais realistas, e isso agora pode ser alcançado usando dados sintéticos. É humanamente impossível anotar imagens 2D e 3D em uma escala perfeita de pixels. barreira física é superada, permitindo comentários precisos, versatilidade e personalização, garantindo o realismo”, disse Srivastava ao VentureBeat.

O reconhecimento de gestos é outro mecanismo essencial para interagir com mundos virtuais. No entanto, construir modelos para rastreamento preciso das mãos é complexo, dada a complexidade das mãos e a necessidade de rastreamento posicional 3D. Para complicar ainda mais a tarefa, há a necessidade de capturar dados que representem com precisão a diversidade de usuários, desde o tom de pele até a presença de anéis, relógios, mangas de camisa e muito mais.

Behzadi diz que a indústria agora está usando dados sintéticos para treinar sistemas de rastreamento manual para superar esses desafios.

“Ao tirar proveito dos modelos manuais em 3D, as empresas podem criar grandes quantidades de dados precisamente marcados em 3D em dados demográficos, fatores de confusão, perspectivas de câmera e ambientes”, disse Behzadi.

“Os dados podem então ser produzidos em ambientes e locais/tipos de câmeras para uma diversidade sem precedentes, já que os dados gerados não têm preocupações fundamentais de privacidade. Esse nível de detalhe é muito maior do que o que os humanos podem fornecer e permite um nível maior de realismo para operar o metaverso .”, acrescentou.

Srivastava disse que, em comparação com o processo atual, o metaverso coletará mais dados pessoais, como características faciais, gestos corporais, saúde, preferência financeira e social e biometria, entre muitas outras coisas.

A proteção desses pontos de dados pessoais deve ser a prioridade mais alta. As organizações precisam de políticas de segurança e gerenciamento de dados eficazes, bem como um processo de governança de aprovação. Garantir a ética na IA será fundamental para dimensionar a eficácia no metaverso ao criar dados responsáveis ​​para treinamento, armazenamento e implantação de modelos em produção.”

Da mesma forma, Behzadi disse que as tecnologias de dados sintéticos permitirão que modelos mais inclusivos sejam construídos de maneira ética e compatível com a privacidade. No entanto, como o conceito é novo, a ampla adoção exigirá educação.

“metaverso é um termo amplo e em evolução, mas acho que podemos esperar experiências muito novas e imersivas – seja para interações sociais, reimaginar experiências de consumo e compras, novos tipos de mídia ou aplicativos que ainda não imaginamos”, disse Behzadi. com é um passo na direção certa para ajudar a construir uma comunidade de pesquisadores e parceiros da indústria para o desenvolvimento de tecnologia.

Criar conjuntos de dados prontos para simulação é um desafio para empresas que desejam usar a geração de dados sintéticos para construir e operar mundos virtuais no metaverso. Kerris diz que os ativos 3D prontos para uso não são suficientes para implementar modelos de treinamento precisos.

Esses conjuntos de dados devem conter as informações e características que os tornam úteis. Por exemplo, peso, atrito e outros fatores devem ser incluídos nos ativos para que sejam úteis no treinamento”, disse Kerris. “Podemos esperar um conjunto crescente de bibliotecas prontas para sim das empresas, o que ajudará a acelerar o uso casos para geração de dados sintéticos em aplicações metaverso, para casos de uso industrial, como robótica e gêmeos digitais.”

JogosBeat creed Quando a cobertura da indústria de jogos é “onde a paixão encontra o trabalho”. O que isto significa? Queremos contar como as notícias são importantes para você – não apenas como tomador de decisões em um estúdio de jogos, mas também como fã de jogos. Esteja você lendo nossos artigos, ouvindo nossos podcasts ou assistindo nossos vídeos, o GamesBeat o ajudará a aprender sobre o setor e a interagir com ele. Conheça nossos briefings.

#Deep #Dive #Como #dados #sintéticos #podem #aprimorar #ARVR #Metaverso

Leave a Comment