D Instituto Allen de IA (Ai2) é Um novo conjunto de modelos de IA de código aberto está sendo lançado e recursos relacionados em um esforço para lançar luz sobre um canto crítico, mas anteriormente misterioso, do mundo da inteligência artificial.
No centro da iniciativa Tulu da Ai2 está o pós-treinamento – o processo de refinar um modelo de linguagem após o processo de treinamento inicial para aumentar suas capacidades e torná-lo adequado para tarefas específicas e aplicações do mundo real.
Ai2 diz que seu novo modelo Tulu 3 rivaliza e, em alguns casos, supera os modelos proprietários da OpenAI, Mistral, Google e outras empresas em benchmarks de habilidades como matemática, acompanhamento de instruções e recursos de bate-papo.
AI é uma organização sem fins lucrativos com sede em Seattle Modelo Tulu 3 está sendo lançado Quinta-feira, juntamente com os dados, código e infraestrutura utilizados no processo pós-treinamento, torna-o acessível a qualquer pessoa para uso e desenvolvimento.
Um dos principais objetivos do lançamento do Tulu 3 é fornecer a outros pesquisadores e engenheiros de IA as ferramentas e receitas para tornar o pós-treinamento mais eficaz. Um chatbot baseado no modelo Tulu 3 Disponível aqui — parte de uma nova estratégia da Ai2 para lançar demonstrações da sua tecnologia para chamar mais a atenção do público para o seu trabalho.
“O treinamento de resposta é realmente importante”, disse Hannah HajishirjiO diretor sênior de processamento de linguagem natural da Ai2, em uma coletiva de imprensa esta semana, descreveu o papel que o pós-treinamento desempenha na tornar utilizáveis os modelos de linguagem de IA.
É também um processo desafiador, explica ele, observando que fornecer capacidades específicas à IA após o treinamento pode fazer com que os modelos esqueçam as capacidades gerais adquiridas durante o processo de pré-treinamento. E até agora, a fase pós-treinamento tem sido um segredo bem guardado na indústria, dando uma vantagem aos modelos fechados.
Com o lançamento do Tulu 3, a ideia é permitir que a comunidade em geral entenda e construa modelos pós-treinados de alta qualidade sem os enormes recursos de computação necessários para pré-treinar totalmente os modelos do zero.
“Existe esse tipo de estágio mágico de caixa preta pós-treinamento que torna os modelos realmente bons em certas tarefas e não perdem essa habilidade geral”, disse Sofia LebrechtDiretor de Operações da Ai2. Ele diz que o lançamento do Tulu 3 promete ser “uma grande virada de jogo” ao permitir que as pessoas construam modelos de alta qualidade para tarefas específicas.
As principais diferenças em relação aos modelos anteriores de Tulu incluem avanços na curadoria de dados, uma estrutura de avaliação mais rigorosa e melhorias algorítmicas e de infraestrutura, incluindo um processo de treinamento em vários estágios.
“Há tantas coisas que é quase surpreendente como é fácil se você fornecer os dados corretos”, diz Nathan LambertCientista de aprendizado de máquina Ai2, Ai2 Tulu 3 descreve o progresso que ele implementou com o modelo.
Ai2 foi fundada em 2014 pelo falecido cofundador da Microsoft, Paul Allen. Está no comando desde o ano passado Ali Farhadique anteriormente fundou e liderou o Xnor.ai, spinout da Ai2, como CEO e o vendeu para a Apple em 2020 em um negócio estimado em US$ 200 milhões que representa o maior sucesso comercial do instituto até o momento.
No início deste ano, a Ai2 lançou novos modelos multimodais de inteligência artificial, apelidados faceque trabalha com dados visuais de maneiras inovadoras. Ai2 lançou seu modelo de linguagem aberta, OR olmoEm Fevereiro do ano passado, fez parte de um esforço maior para trazer mais transparência ao surgimento de modelos generativos de IA.
Ai2 é afiliada à Escola Allen de Ciência da Computação e Engenharia da Universidade de Washington, onde líderes de pesquisa da Ai2 como Hajishirji também ocupam cargos docentes.
Veja links para modelos pós-treinados do Tulu 3 e recursos relacionados aqui.