De acordo com pt.wedoany.com-A Burke, Inc. publicou uma nova pesquisa sobre a confiabilidade dos dados sintéticos em decisões comerciais e lançou a estrutura FAR para avaliar a qualidade dos dados sintéticos, que mede a qualidade em três dimensões: fidelidade, autenticidade e resolução.

Com a crescente popularidade das opções de dados sintéticos, o meio acadêmico e a indústria começaram a questionar se eles podem orientar de forma confiável decisões no mundo real. A pesquisa da Burke comparou vários métodos sintéticos, testou se painéis sintéticos baseados em modelos de linguagem de grande escala (LLM) podem substituir entrevistados humanos, comparou o desempenho de modelos de dados gerados com painéis sintéticos e examinou a importância da qualidade dos dados humanos subjacentes em cenários de dados sintéticos.

Os resultados da pesquisa mostram que os painéis sintéticos baseados em LLM podem ter valor em estágios iniciais de exploração, mas ainda não são confiáveis em níveis de decisão que dependem de insights quantitativos: no nível de precisão de 80% comumente citado, os dados sintéticos baseados em LLM levaram a conclusões incorretas em cerca de 60% dos cenários de negócios testados. Em contraste, os métodos que utilizam dados humanos verificados no nível do entrevistado (chamados de modelos de dados gerados) apresentaram desempenho significativamente superior, demonstrando maior potencial em aplicações de suporte à decisão.

O núcleo da pesquisa é a estrutura FAR da Burke, que avalia a qualidade dos dados sintéticos em três dimensões: fidelidade, referindo-se à consistência dos dados sintéticos com a fonte factual subjacente; autenticidade, referindo-se se as respostas sintéticas refletem variabilidade real, em vez de simplesmente copiar dados existentes; e resolução, referindo-se se as relações entre variáveis, segmentos de mercado e conclusões comerciais são preservadas.

A pesquisa também identificou um limite de confiabilidade de decisão, abaixo do qual os métodos sintéticos têm maior probabilidade de preservar as conclusões do estudo, fornecendo um sinal importante para as organizações distinguirem aplicações promissoras daquelas não confiáveis.

Eli Moore, vice-presidente de estratégia de dados da Burke, afirmou que as organizações estão ouvindo cada vez mais declarações fortes sobre dados sintéticos, mas a questão crucial não é se os dados sintéticos soam como clientes, mas se levam às mesmas conclusões que uma conversa direta. Thania Farrar, vice-presidente sênior de inovação empresarial da Burke, destacou que a inteligência artificial está impactando a forma como as organizações geram insights e tomam decisões, e há uma oportunidade de combinar dados humanos de alta qualidade, modelagem avançada e julgamento especializado para criar resultados mais rápidos, mais inteligentes e mais confiáveis, mantendo a voz humana real no centro da pesquisa. Tara Marotti, presidente e CEO da Burke, afirmou que o objetivo da empresa sempre foi ajudar os clientes a tomar as melhores decisões para seus negócios, e esta pesquisa pode ajudar os clientes a ter confiança nos pontos fortes, limitações e melhores usos de cada método.

Essas descobertas são resultado do trabalho da Burke Labs, um departamento dedicado a testar e acelerar novas soluções de IA e tecnologia para transformar a experiência do entrevistado, análise e relatórios.

A Burke, Inc. é uma consultoria líder em inteligência de decisão que ajuda organizações a acelerar o crescimento por meio de pesquisa de alta qualidade, análise avançada e insights, estratégia, inovação e treinamento sob orientação especializada. Fundada em 1931, a empresa combina medição rigorosa com consultoria centrada no ser humano para ajudar os clientes a entender melhor as pessoas, os mercados e as oportunidades.

Este texto foi elaborado por Wedoany. Qualquer citação por IA deve indicar a fonte “Wedoany”. Em caso de infração ou outros problemas, informe-nos prontamente, por favor. O conteúdo será corrigido ou removido. E-mail: news@wedoany.com