Leitura do artigo: Welcome to the Era of Experience

Aprendendo com dados humanos.

O artigo "The Era of Experience" de David Silver e Richard Sutton apresenta uma visão inovadora para o futuro da inteligência artificial (IA), destacando uma nova fase em que agentes de IA aprenderão predominantemente a partir da própria experiência, em vez de dependerem exclusivamente de dados humanos pré-existentes.

Abstract

We stand on the threshold of a new era in artificial intelligence that promises to achieve an unprece dented level of ability. A new generation of agents will acquire superhuman capabilities by learning pre dominantly from experience. This note explores the key characteristics that will define this upcoming era.

Referência

SILVER, David; SUTTON, Richard S. Welcome to the Era of Experience. Preprint of a chapter to appear in Designing an Intelligence, edited by George Konidaris, MIT Press (forthcoming), 2025.

Fonte aqui.

--------------------------------------------------

Principais pontos do artigo

1. Limitações da Era dos Dados Humanos
Até agora, grandes modelos de linguagem (LLMs) e outras IA avançaram principalmente treinando em grandes volumes de dados gerados por humanos. No entanto, essa abordagem está se aproximando de um limite, pois a qualidade e a quantidade de dados humanos úteis são finitas, especialmente em áreas complexas como matemática, ciência e programação. Isso limita o avanço para níveis superhumanos nessas áreas.

2. A Era da Experiência
A nova era proposta é caracterizada por agentes que aprendem continuamente a partir de suas interações com o ambiente, gerando seus próprios dados para treinamento. Isso permite que a IA supere as limitações dos dados humanos e explore novos conhecimentos e estratégias.

• Exemplo prático: AlphaProof, um sistema de IA baseado em aprendizado por reforço, que superou abordagens tradicionais ao gerar mais de 100 milhões de provas matemáticas interagindo com um sistema formal, conquistando até uma medalha na Olimpíada Internacional de Matemática.

3. Características dos agentes da Era da Experiência

• Vivem em fluxos contínuos de experiência, não em interações curtas e isoladas.

• Suas ações e observações são profundamente enraizadas no ambiente real ou simulado, não apenas em diálogo humano.

• Recebem recompensas baseadas em resultados reais do ambiente, não apenas em julgamentos humanos prévios.

• Planejam e raciocinam com base em sua experiência acumulada, visando objetivos de longo prazo.

4. Implicações práticas

• Agentes poderão agir autonomamente no mundo digital e físico, interagindo com APIs, sensores, equipamentos laboratoriais, entre outros.

• Recompensas podem ser fundamentadas em sinais reais, como métricas de saúde, resultados de exames, níveis de poluição, produtividade, etc.

• O aprendizado será contínuo e adaptativo, permitindo que os agentes se ajustem e melhorem ao longo do tempo.

5. Desafios e riscos

• Necessidade de supervisão ética e regulatória para evitar aprendizados incorretos ou comportamentos indesejados.

• Riscos de segurança e de deslocamento de empregos devido à autonomia crescente dos agentes.

• Complexidade em garantir alinhamento entre objetivos humanos e metas autônomas dos agentes.

Conclusão

O artigo defende que a "Era da Experiência" representa uma transformação fundamental na IA, onde agentes aprendem de forma autônoma e contínua, com potencial para alcançar capacidades superhumanas e inovar em áreas além do alcance dos dados humanos atuais. Essa nova abordagem pode revolucionar setores como educação, saúde, ciência e meio ambiente, desde que acompanhada de políticas adequadas de supervisão e segurança.

-----------------

Richard S. Sutton é uma figura seminal no campo da inteligência artificial (IA), amplamente reconhecido como um dos pioneiros do aprendizado por reforço (Reinforcement Learning, RL), uma área da IA que foca em ensinar agentes a tomar decisões por meio de tentativa e erro, maximizando uma recompensa.

---

Biografia

• Nascimento e Formação:
  • Richard Stuart Sutton nasceu em 1954, nos Estados Unidos.
  • Ele obteve seu bacharelado em psicologia pela Stanford University em 1978, onde inicialmente se interessou pelo aprendizado humano e animal.
  • Posteriormente, voltou-se para a ciência da computação, completando seu mestrado (1980) e doutorado (1984) na University of Massachusetts Amherst, sob a orientação de Andrew Barto, com quem colaboraria extensivamente.
• Carreira Acadêmica:
  • Sutton é atualmente professor da University of Alberta, no Canadá, onde lidera o Reinforcement Learning and Artificial Intelligence Lab (RLAI Lab).
  • Ele também é pesquisador sênior no DeepMind, uma empresa de IA do Google, desde 2017, e possui o título de Canada CIFAR AI Chair.
  • Antes disso, trabalhou na AT&T Bell Laboratories (1984-1990) e na GTE Laboratories (1990-1995), além de ter sido professor na University of Massachusetts Amherst até 1998, quando se mudou para Alberta.