A API PaLM permite que você toque no modelo de linguagem grande PaLM 2 do Google diretamente de sua aplicação. Vamos começar por escrever algum código para gerar um post de blog, incluindo o código HTML.
Pathways Language Model 2 (PaLM 2) é um modelo de linguagem grande (LLM) desenvolvido pela Google, que sucedeu o modelo original PaLM lançado em 2022. Anunciado em maio de 2023, o PaLM 2 é treinado em grandes conjuntos de dados de texto e código, capacitando-o a realizar diversas tarefas, como preenchimento de palavras, preenchimento de código, resposta a perguntas, sumarização e análise de sentimentos.
PaLM 2 é um modelo de fundação que é essencial para a plataforma do Google para AI generativa. Poder de PaLM 2 Bard, O chatbot AI do Google que compete com o ChatGPT da OpenAI e com o Duet AI, o framework assistente de IA do Google que está sendo integrado em produtos como o Google Workspace e o Google Cloud.
[ Mantenha-se com os últimos desenvolvimentos no desenvolvimento de software. Inscreva-se no boletim InfoWorld First Look ]
O Google está disponibilizando a API PaLM dentro da plataforma Vertex AI e como um ponto final de API autônomo. Os desenvolvedores podem acessar a API do Vertex AI PaLM hoje, enquanto o endpoint autônomo está disponível apenas através do programa Trusted Testers.
Up and running with Python and Vertex AI
Assumindo que você é um assinante do Google Cloud, este tutorial o acompanha através dos passos de explorar a API PaLM disponível na plataforma Vertex AI. Por favor, note que o serviço está em pré-visualização, e a API pode mudar no futuro.
Vamos começar criando um ambiente virtual Python para nossa experiência.
Em seguida, instalamos o módulo Python para acessar a plataforma Google Vertex AI.
Além disso, vamos configurar o Jupyter Notebook como a plataforma de desenvolvimento que iremos utilizar.
A biblioteca, vertexai.preview.language_models, tem várias classes, incluindo ChatModel, TextEmbedding e TextGenerationModel. Para este tutorial, vamos nos concentrar no TextGenerationModel, onde o PaLM 2 nos ajudará a gerar um post com base no prompt de entrada.
Como um primeiro passo, importe a classe certa do módulo.
Vamos então inicializar o objeto com base no modelo pré-treinado, text-bison@001, que é otimizado para gerar texto.
O próximo passo é definir uma função que aceita o prompt como uma entrada e retorna a resposta gerada pelo modelo como saída.
O método, prever, aceita o prompt, o número de tokens e a temperatura como parâmetros. Vamos entender esses parâmetros melhor.
Parâmetros do modelo de geração de texto
Enquanto enviamos prompts para a API PaLM na forma de cadeias de texto, a API converte essas cadeias em pedaços de significado chamados tokens. Um símbolo é aproximadamente quatro personagens. 100 tokens correspondem a aproximadamente 60 a 80 palavras. Se quisermos que a saída do modelo esteja dentro de 500 palavras, é seguro definir o valor max_output_tokens para 1000. O valor máximo suportado pelo modelo é 1024. Se não incluíssemos este parâmetro, o valor seria padrão para 64.
O próximo parâmetro, temperatura, especifica a criatividade do modelo. Esta configuração controla o quão aleatória a seleção de token será. Temperaturas mais baixas são melhores para prompts que precisam de uma resposta específica e menos criativa, enquanto temperaturas mais altas podem resultar em respostas mais diversificadas e criativas. O valor da temperatura pode ser entre 0 e 1. Uma vez que queremos um pouco de criatividade, nós estabelecemos isso para 0,3.
A temperatura também é um parâmetro opcional, o valor padrão para o qual varia por modelo. Dois outros parâmetros opcionais, top_k e top_p, permitem que você altere como o modelo seleciona tokens para saída, mas vamos pular aqui.
Com o método no lugar, vamos construir o prompt.
Invoque o método passando o prompt.
Você deve ver um post bem escrito gerado pelo PaLM.
Vamos fazer isso realista pedindo ao PaLM para gerar o conteúdo formatado em HTML. Para isso, precisamos modificar o prompt.
Para imprimir a saída em formato HTML, podemos usar os widgets integrados do Jupyter Notebook.
Agora você pode ver o post do blog formatado em HTML.
Abaixo está o código completo para sua referência.
Em apenas algumas linhas de código, invocamos o PaLM 2 LLM para gerar um post. Nos próximos tutoriais, vamos explorar outras capacidades do modelo, incluindo a conclusão de código, chat e incorporações de palavras. Fique atento.
