O acompanhamento da unidade de processamento gráfico (GPU) é distinto da monitoração dos recursos gerais de CPU e memória, e exige uma abordagem única. Saiba como o Kubecost enfrenta esse desafio.
Muitos times de engenharia da empresa estão atualmente focados em utilizar GPUs para criar protótipos e implementar novos produtos. Com a competição pressionando, as preocupações com os custos das GPUs se tornaram mais proeminentes. Em discussões com líderes empresariais, a Kubecost descobriu que a maior preocupação é a viabilidade de usar GPUs em larga escala. Muitos se perguntam se estão utilizando as GPUs de forma eficiente e quanto estão desperdiçando, especialmente quando se trata de projetos de inteligência artificial que envolvem altos custos mensais.
O que Kubecost está fazendo atualmente com GPUs é similar ao que começamos a fazer há seis anos com a nuvem tradicional e os recursos de CPU e memória do Kubernetes – tornar a caixa preta transparente. Para empresas que têm pouco entendimento sobre a utilização ou eficiência de GPUs, a Kubecost está fornecendo métricas e direcionamentos significativos. De maneira geral, essas empresas costumam descobrir que podem reduzir seus gastos com GPUs em até 50% a 70%, uma vez que conseguem analisar detalhadamente seu uso desses recursos.
A GPU precisa ser visível de uma maneira única e requer uma abordagem especial para ser enfrentada.
O monitoramento da GPU é diferente do monitoramento tradicional de CPU e memória, e requer uma abordagem específica. Uma GPU combina características de CPU e memória em um único componente. Enquanto o uso de CPU e memória tradicionais em um ambiente Kubernetes fornece informações visíveis sobre a carga de trabalho, a capacidade de uma GPU é determinada por fatores como a quantidade de memória, o número de núcleos físicos de CPU e suas frequências.
Com unidades de processamento gráfico (GPUs), não é possível escolher especificamente a quantidade de memória ou velocidade que deseja para uma GPU. Geralmente, a configuração padrão é solicitar a GPU inteira ou não solicitar nada. O desafio da transparência surge porque as GPUs são especializadas e combinam características de CPU e memória, o que exige uma abordagem específica para monitorar e compreender seu uso. Além disso, a presença de múltiplas GPUs físicas em um sistema, e a possibilidade de adicionar ou remover GPUs, torna ainda mais complexa a tarefa de obter visibilidade sobre o uso desses recursos. Essas circunstâncias destacam a necessidade de uma nova abordagem para obter transparência em relação às GPUs.
Como o Kubecost possibilita a supervisão e aprimoramento do desempenho das GPUs.
Kubecost aborda o desafio de visualização da GPU ao identificar quais nós possuem GPUs e onde estão localizados, seja em um provedor de nuvem pública ou em um ambiente local. Kubecost também reconhece os custos associados a esses nós, permitindo compreender o custo proporcional das GPUs. Isso é aplicável tanto para empresas que utilizam os principais provedores de nuvem quanto para aquelas que gerenciam os custos dos nós com base em sua própria infraestrutura de nuvem privada.
Com base nos dados de custo da GPU, o próximo passo é analisar a forma como as GPUs estão sendo usadas. O Kubecost analisa a alocação de custos não apenas com base nas GPUs solicitadas, mas também no seu uso, a fim de identificar a capacidade ociosa. Além disso, o Kubecost coleta métricas padrão, como informações de utilização fornecidas pelo software Nvidia (com planos de expansão para incluir marcas AMD e GPUs adicionais). Ao cruzar dados de custo e utilização, o Kubecost consegue avaliar a eficiência das GPUs, o que é uma preocupação crescente para os líderes empresariais conforme a potência e o custo das GPUs continuam aumentando.
Kubecost vai além ao oferecer conhecimento adicional que orienta as equipes sobre como agir proativamente em relação às oportunidades de otimização. Geralmente, essas oportunidades resultam em redução de despesas. Em situações específicas, quando as equipes estão lidando com problemas de capacidade, a oportunidade pode ser melhorar investindo mais.
Por exemplo, imagine uma situação em que as cargas de trabalho exigem várias GPUs, porém o Kubecost percebe que algumas delas não estão sendo utilizadas. Nesse caso, o Kubecost identificará essa falta de eficiência e recomendará medidas para reduzir os gastos desnecessários com GPUs inativas. Além disso, o Kubecost pode ajustar as cargas de trabalho para automatizar essas otimizações.
Em breve, o Kubecost pretende ampliar suas sugestões de economia e permitir que os usuários tenham controle para automatizar essas ações de economia.
Altos custos representam excelentes chances de poupança.
Em março, a Nvidia revelou a nova linha de GPUs Blackwell, que terão um custo entre US $ 30.000 e US $ 40.000 cada. Em situações onde o uso de uma GPU extra é identificado como desnecessário por ferramentas como o Kubecost, uma economia de US $ 40.000 pode ser alcançada rapidamente. Assim, investimentos significativos em GPUs podem resultar em eficiência e benefícios consideráveis. Do ponto de vista do retorno sobre o investimento (ROI), as ferramentas necessárias para essa eficiência são facilmente justificadas quando cobrem seus próprios custos pouco tempo após a implementação.
O tema relacionado ao carbono
O tema do consumo de energia e dos custos de carbono relacionados às GPUs, juntamente com o progresso da inteligência artificial, é amplamente discutido atualmente. As GPUs consomem uma grande quantidade de energia, levando as organizações a buscarem formas de reduzir esse consumo. Nesse sentido, as ferramentas de otimização do Kubecost surgem como uma solução para evitar o desperdício de energia.
Seguindo adiante, também estamos dedicados a fornecer transparência em relação aos custos de carbono da GPU, de forma que as empresas consigam acompanhar seu avanço na redução desse consumo juntamente com suas outras conquistas em termos de eficiência.
A capacidade de ver a GPU resulta em economia imediata de despesas.
Uma equipe experiente pode implantar o Kubecost rapidamente e começar a identificar possíveis economias de custo relacionadas a GPUs em questão de horas ou, no máximo, alguns dias. O Kubecost se destaca pela sua capacidade de melhorar a eficiência a longo prazo e manter os custos otimizados à medida que a empresa cresce. O objetivo final é promover uma cultura de engenharia eficiente e práticas financeiras sólidas, sendo a visibilidade das GPUs um passo crucial nesse processo.
Kai Wombacher atua como gerente de produto na Kubecost, uma empresa associada à IBM. Seu trabalho consiste em desenvolver a solução da Kubecost para monitorar, gerenciar e otimizar os gastos com Kubernetes em grande escala. Com vasta experiência, ele já proporcionou soluções inovadoras para empresas do ramo técnico, incluindo ferramentas avançadas de gestão de custos para Kubernetes e modelos completos de aprendizado de máquina.
Lo siento, necesito un texto específico para poder parafrasearlo. ¿Puedes proporcionarme un texto para que pueda ayudarte?
O fórum New Tech Forum é um espaço destinado a líderes de tecnologia, fornecedores e outros colaboradores externos para discutir de forma abrangente e detalhada sobre tecnologia empresarial emergente. A seleção é feita de forma subjetiva, com base nas tecnologias consideradas importantes e de maior interesse para os leitores da InfoWorld. A InfoWorld não garante a publicação com fins de marketing e reserva o direito de editar todo o conteúdo enviado. Qualquer dúvida pode ser enviada para doug_dineley@foundryco.com.
