Atualizações de floco de neve direcionam a demanda de IA generativa de empresas

Enquanto a Snowpark Container Services e uma parceria Nvidia ajudarão as empresas a gerenciar modelos de idiomas grandes, as atualizações Streamlit e Git são direcionadas para facilitar as tarefas dos desenvolvedores.

Empresa de armazenamento de dados baseada em nuvem Snowflake está mudando sua atenção para grandes modelos de linguagem e AI generativa. Lançado em 2014 com foco em interromper o mercado tradicional de armazenamento de dados e análise de big-data, a empresa continuou a adicionar novos recursos, como o seu Quadro de Aplicação Nativo, para segmentar diferentes conjuntos de usuários corporativos.

Na sua anual Snowflake Summit terça-feira, a empresa anunciou a Snowpark Container Services, uma parceria com a Nvidia, e atualizações para a sua biblioteca Streamlit Python projetada para ajudar os usuários corporativos a gerenciar modelos de idiomas grandes (LLMs) e construir aplicativos usando-os de dentro de sua plataforma de nuvem de dados.

Recipiente de Snowpark Os serviços, atualmente em pré-visualização privada, permitirão que as empresas tragam cargas de trabalho mais diversas, incluindo LLMs, para a Plataforma Data Cloud, disse Christian Kleinerman, vice-presidente sênior de produto da Snowflake, acrescentando que também permite aos desenvolvedores construir aplicações em qualquer linguagem de programação.

Os serviços de contêineres recentemente lançados desempenham um papel fundamental ao integrar informações empresariais alojadas no Snowflake com diversas ferramentas e recursos, como interfaces de treinamento de modelos, frameworks de governança de modelos, aplicativos de terceiros para enriquecimento de dados, modelos de machine learning, APIs e o Quadro de Aplicação Nativo do Snowflake.

“Snowpark Containerized” Os serviços ajudarão as empresas a mover cargas de trabalho, como modelos de aprendizado de máquina ou LLMs, entre nuvem pública e privada com base nas preferências do cliente”, disse Hyoun Park, analista líder da Amalgam Insights.

O processo de mover cargas de trabalho com segurança vai se tornar cada vez mais importante, pois as empresas descobrem que a entrada e uso de dados maciços associados ao treinamento de LLMs e outros modelos de aprendizado de máquina são potenciais riscos de conformidade, fazendo com que eles movam esses modelos para sistemas governados e isolados, acrescentou Park.

Os Serviços de Contêiner também ajudarão a reduzir o fardo no mecanismo de armazenamento de dados do Snowflake, pois ele será executado em um ambiente abstrato de Kubernetes, de acordo com Doug Henschen, analista principal da Constellation Research.

“Simply put, é uma maneira de executar uma variedade de serviços de aplicação diretamente nos dados do Snowflake, mas sem sobrecarregar os armazéns de dados e aplicações analíticas sensíveis ao desempenho que funcionam sobre eles”, disse Henschen.

A parceria Nvidia oferece tecnologia para treinamento LLM

A fim de ajudar as empresas a treinar LLMs com dados armazenados em Snowflake, a empresa tem parceria com a Nvidia para obter acesso à sua Plataforma AI, que combina recursos de hardware e software. Snowflake irá executar Nvidia NeMo, uma parte da Plataforma AI, de dentro da Data Cloud, a empresa disse, acrescentando que NeMo pode ser usado para desenvolver aplicações baseadas em IA generativas, como chatbots e mecanismos de busca inteligentes.

Além disso, os Serviços de Contêiner do Snowpark permitirão que as empresas obtenham acesso a fornecedores de modelos de AI generativos de terceiros, como a Reka AI, disse Sanjeev Mohan, analista principal da SanjMo.

Outros LLMs, como os de OpenAI, Cohere e Anthropic, também podem ser acessados através de APIs, disse Mohan.

As atualizações de Snowflake revelam uma estratégia que visa assumir a Databricks, disse os analistas.

“Databricks está oferecendo atualmente muito mais recursos para a construção de modelos nativos de IA, ML [aprendizagem automática] do que Snowflake, especialmente com a aquisição MosiacML que promete habilidades para treinar modelos mais baratos e mais rápidos”, disse Andy Thurai, analista principal da Constellation Research.

A diferença na estratégia entre as duas empresas, de acordo com o analista principal da dbInsights, Tony Baer, parece ser sua abordagem na expansão de suas bases de usuários.

“O floco de neve está buscando estender de sua base de dados e desenvolvedores de BI para cientistas de dados e engenheiros de dados, enquanto a Databricks está se aproximando do lado oposto”, disse Baer.

IA do documento gera insights de dados não estruturados

Os novos Serviços de Container permitirão que as empresas acessem ferramentas de aprimoramento de dados e aprendizado de máquina, como os notebooks da Hex para análise e ciência de dados, ferramentas de IA da Alteryx, Dataiku e SAS, juntamente com uma ferramenta de gerenciamento de fluxo de trabalho de dados da Astronomer que é baseada no fluxo de ar Apache, disse a empresa. Software de terceiros de Amplitude, CARTO, H2O.ai, Kumo AI, Pinecone, RelationsalAI e Weights & Biases também estão disponíveis.

Snowflake também disse que estava lançando um LLM auto-desenvolvido, chamado Document AI, projetado para gerar insights de documentos.

A IA do Documento, que é construída sobre a tecnologia da aquisição da Applica no ano passado da Snowflake, visa ajudar as empresas a fazer mais uso de dados não estruturados, disse a empresa, acrescentando que a nova LLM pode ajudar a melhorar a produtividade empresarial.

DbInsights’ Baer acredita que a adição do novo LLM é um passo para manter o ritmo com ofertas rivais dos estábulos da AWS, Oracle e Microsoft.

Atualizações e ferramentas para MLOps.

A fim de ajudar as empresas com operações modelo de aprendizado de máquina (MLOps), Snowflake introduziu o Registro Modelo de Snowpark.

O registro, de acordo com a empresa, é um repositório unificado para modelos de aprendizado de máquina de uma empresa. Ele é projetado para permitir que os usuários centralizem a publicação e a descoberta de modelos, simplificando a colaboração entre cientistas de dados e engenheiros de aprendizado de máquina.

Embora rivais como AWS, Databricks, Google Cloud e Microsoft oferecem ferramentas MLOps já, os analistas veem o novo Registro de Modelos como uma atualização importante.

“Os registros e repositórios de modelos são um dos novos grandes campos de batalha em dados, pois as empresas escolhem onde colocar seus modelos proprietários ou comerciais e garantem que o armazenamento, metadados e versões sejam adequadamente governados”, disse Park.

Além disso, o Snowflake também está avançando a integração do Streamlit em sua plataforma de nuvem de dados, levando-o para uma pré-visualização pública para um ajuste final antes de seu lançamento geral.

Além disso, a empresa disse que estava estendendo o uso de tabelas Apache Iceberg para o próprio armazenamento de uma empresa.

Outras atualizações, principalmente direcionadas para desenvolvedores, incluem a integração do Git e uma nova interface de linha de comando (CLI) dentro da Plataforma de nuvem de dados, ambas em visualização privada.

Embora a integração nativa do Git seja esperada para suportar fluxos de trabalho CI/CD, o novo CLI ajudará no desenvolvimento e teste de aplicativos dentro do Snowflake, disse a empresa.

A fim de ajudar os desenvolvedores a ingerir dados de streaming e eliminar os limites entre os pipelines de lote e streaming, Snowflake também revelou novos recursos na forma de Tabelas Dinâmicas e Fluxo de Snowpipe.

Enquanto Snowpipe O streaming deverá estar em disponibilidade geral em breve, o Dynamic Tables está atualmente em visualização pública.

Snowflake também disse que é Native Application Framework estava agora em visualização pública na AWS.