OpenScholar: IA de código aberto que supera GPT-4o em pesquisa científica

Os cientistas estão se afogando em dados. Com milhões de artigos de investigação publicados todos os anos, mesmo os especialistas mais dedicados lutam para se manterem atualizados sobre as últimas descobertas na sua área.

Um novo sistema de inteligência artificial, chamado OpenScholarPromete reescrever as regras de como os pesquisadores acessam, avaliam e sintetizam a literatura científica criado por Instituto Allen de IA (Ai2) e d Universidade de WashingtonOpenScholar combina sistemas de recuperação sofisticados com um modelo de linguagem ajustado para fornecer respostas abrangentes e apoiadas por citações para questões de pesquisa complexas.

“O progresso científico depende da capacidade dos pesquisadores de sintetizar crescentes volumes de literatura”, escreveram os pesquisadores do OpenScholar. o papel deles. Mas esse poder é cada vez mais limitado pelo grande volume de dados. O Open Scholar, argumentam eles, oferece um caminho a seguir – um caminho que não apenas ajuda os pesquisadores a navegar no fluxo de artigos, mas também desafia o domínio de sistemas proprietários de IA como o OpenAI. GPT-4o.

Como o cérebro de IA do OpenScholar processa 45 milhões de artigos de pesquisa por segundo

No centro do OpenScholar está um modelo de linguagem com recuperação aprimorada que explora mais armazenamentos de dados 45 milhões de artigos acadêmicos de acesso aberto. Quando um pesquisador faz uma pergunta, o OpenScholar não gera apenas uma resposta a partir de conhecimento pré-treinado, como costumam fazer modelos como o GPT-4o. Em vez disso, recupera ativamente artigos relevantes, sintetiza as suas descobertas e formula uma resposta com base nessas fontes.

Essa capacidade de permanecer “fundamentado” na literatura real é um diferencial importante. Ao testar usando um novo benchmark chamado QBench acadêmicoProjetado especificamente para avaliar sistemas de IA em questões científicas abertas, o OpenScholar é excelente. O sistema demonstrou desempenho superior em realismo e precisão de citação, superando até mesmo modelos proprietários muito maiores, como o GPT-4o.

Uma descoberta particularmente flagrante envolveu a propensão do GPT-4o de gerar citações fabricadas – alucinações no jargão da IA. Quando encarregado de responder questões de pesquisa biomédica, o GPT-4o citou artigos inexistentes em mais de 90% dos casos. O OpenScholar, por outro lado, estava firmemente ancorado em fontes verificáveis.

Com base na realidade, a recuperação de papéis é fundamental. O sistema utilizado pelos pesquisadores foi o seu “Ciclo de estimativa de autofeedback” e “refina iterativamente seus resultados por meio de feedback em linguagem natural, o que melhora a qualidade e incorpora informações suplementares de forma adaptativa”.

Significativo para investigadores, decisores políticos e líderes empresariais. O OpenScholar pode se tornar uma ferramenta essencial para acelerar a descoberta científica, permitindo que os especialistas sintetizem o conhecimento com mais rapidez e confiança.

Por dentro da guerra Davi contra Golias: a IA de código aberto pode competir com as grandes tecnologias?

A estreia do OpenScholar ocorre em um momento em que o ecossistema de IA é cada vez mais dominado por sistemas fechados e proprietários. Modelos como OpenAI GPT-4o e antropologia Cláudio oferecem capacidades impressionantes, mas são caras, opacas e inacessíveis para muitos pesquisadores. O OpenScholar inverte esse modelo por ser totalmente de código aberto.

A equipe do OpenScholar não apenas lançou código Para modelos de linguagem, mas inteiros pipeline de recuperaçãoum especial Modelo de 8 bilhões de parâmetros Afinação para o trabalho científico e uma armazenamento de dados Artigos científicos. “Até onde sabemos, esta é a primeira publicação aberta de um pipeline completo para um assistente científico LM – de dados a receitas de treinamento e modelos de pontos de verificação”, escreveram os pesquisadores em seu relatório. Postagem no blog declaração do sistema.

Esta abertura não é apenas uma posição filosófica; É também uma vantagem prática. O tamanho pequeno e a arquitetura simplificada do OpenScholar o tornam muito mais econômico do que os sistemas proprietários. Por exemplo, os pesquisadores levantaram a hipótese OpenScholar-8B Trabalho 100 vezes mais barato em comparação PapelQA2Um sistema simultâneo construído em GPT-4o.

Esta relação custo-eficácia poderia democratizar o acesso a poderosas ferramentas de IA para pequenas instituições, laboratórios subfinanciados e investigadores nos países em desenvolvimento.

No entanto, o OpenScholar tem limitações. Seu armazenamento de dados é limitado a artigos de acesso aberto, excluindo pesquisas com acesso pago que dominam em alguns casos. Esta limitação, embora legalmente exigida, significa que o sistema pode perder resultados importantes em áreas como medicina ou engenharia. Os pesquisadores reconhecem essa lacuna e esperam que futuras iterações possam incluir de forma responsável conteúdo de acesso fechado.

O novo método científico: quando a IA se torna seu parceiro de pesquisa

D Projeto OpenScholar levanta questões importantes sobre o papel da IA ​​na ciência. Embora a capacidade do sistema de sintetizar literatura seja impressionante, não é infalível. Na avaliação de especialistas, as respostas do Open Scholar foram priorizadas em relação às respostas escritas por humanos em 70% das vezes, mas os 30% restantes destacaram onde o modelo falhou – como não citar artigos fundamentais ou selecionar estudos menos representativos.

Estas limitações sublinham uma verdade maior: ferramentas de IA como o OpenScholar destinam-se a aumentar, e não a substituir, a experiência humana. O sistema foi projetado para ajudar os pesquisadores a gerenciar a demorada tarefa de síntese da literatura, permitindo que eles se concentrem na interpretação e no avanço do conhecimento.

Os críticos podem apontar que a dependência do OpenScholar em artigos de acesso aberto limita a sua utilidade imediata em campos de alto risco como o farmacêutico, onde a maior parte da investigação está bloqueada por acesso pago. Outros argumentam que o desempenho do sistema, embora poderoso, ainda depende fortemente da qualidade dos dados recuperados. Se a etapa de recuperação falhar, todo o pipeline corre o risco de obter resultados abaixo do ideal.

Mas apesar das suas limitações, o OpenScale representa um divisor de águas na computação científica. Embora os modelos anteriores de IA tenham ficado impressionados com a sua capacidade de conversar, o OpenScholar demonstra algo mais fundamental: a capacidade de processar, compreender e sintetizar literatura científica com uma precisão quase humana.

Os números contam uma história interessante. O modelo de 8 bilhões de parâmetros do OpenScholar supera o GPT-4o, embora o nível de pedido seja menor. Ele se equipara aos especialistas humanos em precisão de citações, onde outras IAs falham 90% das vezes. E talvez o mais revelador seja que os especialistas preferem respostas escritas pelos seus pares.

Estas conquistas sugerem que estamos a entrar numa nova era de investigação assistida por IA, onde a barreira ao progresso científico não é a nossa capacidade de processar o conhecimento existente, mas a nossa capacidade de fazer as perguntas certas.

Pesquisadores Tudo sobrou—código, modelos, dados e ferramentas—aposto que a abertura acelerará mais o progresso do que manter o seu sucesso a portas fechadas.

Ao fazê-lo, responderam a uma das questões mais importantes no desenvolvimento da IA: as soluções de código aberto podem competir com as caixas negras das Big Tech?

A resposta, ao que parece, está escondida bem à vista entre os 45 milhões de documentos.