Google apresenta iniciativas de código aberto para inteligência artificial generativa.
O Google apresentou no evento Google Cloud Next ’24 um novo mecanismo de inferência LLM, uma coleção de modelos de transformadores de referência e melhorias TPU para esses modelos.
No evento Google Cloud Next 24, foram apresentados três projetos de código aberto para a criação e implementação de modelos de inteligência artificial gerativos. Além disso, a companhia lançou novos modelos linguísticos avançados em seu projeto MaxText de LLMs desenvolvidos com JAX.
Os mais recentes tipos de modelos de linguagem natural em MaxText agora incluem Gemma, GPT-3, Llama 2 e Mistral, os quais são compatíveis tanto com as GPUs do Google Cloud quanto com as GPUs da Nvidia, afirmou a empresa.
As últimas iniciativas de código aberto são os projetos MaxDiffusion, JetStream e Optimum-TPU.
MaxDiffusion é um conjunto de implementações de referência eficientes e dimensionáveis para modelos de difusão, incluindo o Stable Diffusion. Assim como os modelos MaxText, os modelos MaxDiffusion são desenvolvidos utilizando a JAX, uma estrutura para computação numérica avançada e aprendizado de máquina em larga escala.
JAX, por outro lado, está conectado ao compilador OpenXLA, que melhora funções matemáticas e proporciona um ótimo desempenho em larga escala, permitindo que os desenvolvedores de modelos se dediquem à matemática enquanto o software cuida da implementação mais eficiente.
“Segundo o Google, houve uma grande melhoria no desempenho do JAX e OpenXLA no Cloud TPU, além de terem colaborado com a Nvidia para aprimorar o desempenho do OpenXLA em extensos clusters de Cloud GPU.”
A companhia também lançou a Jetstream, um motor de inferência LLM otimizado de código aberto que é compatível com compiladores XLA.
“À medida que os clientes levam suas cargas de trabalho de inteligência artificial para a produção, há uma crescente necessidade de uma pilha de inferência econômica que proporcione um alto desempenho. JetStream atende a essa demanda e oferece suporte para modelos treinados com JAX e PyTorch/XLA, além de incluir otimizações para modelos amplamente usados, como Llama 2 e Gemma”, afirmou Mark Lohmeyer, responsável pela área de computação e infraestrutura de aprendizado de máquina no Google Cloud.
Por fim, os anúncios recentes do Google sobre código aberto incluíram a introdução do Optimum-TPU para usuários da PyTorch na comunidade Hugging Face. O Optimum-TPU traz melhorias de desempenho dos Google Cloud TPU para treinamento e inferência, com suporte atual para o modelo Gemma 2b e em breve para os modelos Llama e Mistral, de acordo com o Google.
