Soluções de inteligência artificial generativa hospedadas na nuvem, que demandam muitos recursos, tendem a se tornar excessivamente complexas e dispendiosas. Descubra maneiras de contornar esse problema.
Nuvem é uma forma simples de criar sistemas de inteligência artificial generativa, por isso as receitas relacionadas estão em alta. No entanto, muitos desses sistemas são excessivamente complexos, o que resulta em custos desnecessários. O excesso de engenharia é um problema comum, visto que há um histórico de superpensamento na construção de sistemas, dispositivos, máquinas, veículos, entre outros. Será que a nuvem é uma exceção a essa tendência?
A prática do overengineering consiste em criar um produto ou solução mais complexa do que o necessário, incluindo elementos ou funções que não proporcionam um valor significativo. Isso resulta em uma utilização ineficiente de recursos como tempo, dinheiro e materiais, podendo acarretar em menor produtividade, custos mais altos e redução da eficiência do sistema.
O excesso de engenharia em qualquer sistema, como inteligência artificial ou computação em nuvem, ocorre devido à facilidade de acesso aos recursos e à falta de restrições no uso desses recursos. A disponibilidade e a simplicidade de alocação de serviços de nuvem tornam tentador para designers e engenheiros de IA incluir elementos que são considerados mais como “agradáveis de ter” do que “essenciais de ter”. Tomar muitas dessas decisões resulta em um número excessivo de bancos de dados, camadas de middleware, sistemas de segurança e sistemas de governança do que o necessário.
A facilidade com a qual as empresas podem acessar e fornecer serviços de nuvem tornou-se tanto uma vantagem quanto uma desvantagem. Ferramentas avançadas baseadas em nuvem simplificam a implementação de sistemas de IA sofisticados, mas também permitem o excesso de engenharia. Se os engenheiros tivessem que passar por um processo de aquisição, como a compra de hardware especializado para serviços específicos de computação ou armazenamento, provavelmente seriam mais moderados do que quando basta um simples clique do mouse.
Os riscos associados à disponibilidade fácil.
Plataformas de nuvem pública disponibilizam uma ampla gama de serviços destinados a atender todas as possíveis necessidades de Inteligência Artificial generativa. Desde armazenamento e processamento de dados até modelos e análises de machine learning, essas plataformas oferecem uma combinação atraente de recursos. De fato, é possível encontrar uma extensa lista de serviços recomendados pelos provedores de nuvem como essenciais para o desenvolvimento e implementação de um sistema de IA generativa. No entanto, é importante ter em mente que a empresa que elabora essa lista também está promovendo seus próprios serviços.
GPUs são frequentemente usadas em sistemas de computação para potencializar arquiteturas de IA generativa, mas para cálculos simples, sistemas baseados em CPU são igualmente eficazes e mais econômicos.
Por algum motivo, o rápido crescimento de empresas que produzem e comercializam GPUs levou muitas pessoas a acreditarem que as GPUs são essenciais, o que não é verdade. As GPUs são necessárias apenas quando processadores especializados são necessários para resolver um problema específico. Esse tipo de superengenharia acaba custando mais caro às empresas do que outros erros de superengenharia. Infelizmente, sugerir que sua empresa evite o uso de processadores high-end e mais caros muitas vezes resulta em ser excluído de futuras reuniões de arquitetura.
Manter um controle financeiro.
Os custos de expansão estão relacionados à complexidade em diferentes níveis e aos serviços de nuvem extras, que geralmente são adicionados como forma de aprofundar ou garantir a capacidade futura. Quando sugiro que uma empresa utilize menos recursos ou opções mais econômicas, é comum ouvir a justificativa de que é necessário considerar o crescimento futuro. No entanto, isso pode ser gerenciado adaptando a arquitetura conforme a empresa evolui, em vez de simplesmente investir dinheiro desde o início para resolver os problemas.
Essa tendência de adicionar muitos serviços também aumenta a dívida técnica. Manter e atualizar sistemas complexos se torna cada vez mais desafiador e dispendioso. Se os dados estiverem dispersos em vários serviços de nuvem, isso pode agravar ainda mais esses problemas, tornando a integração de dados e a otimização uma tarefa desafiadora. Empresas frequentemente se veem presas em um ciclo no qual suas soluções de inteligência artificial generativa não são apenas excessivamente complexas, mas também necessitam de mais otimização, resultando em retornos menores sobre o investimento.
Formas de reduzir a prática de elaborar projetos excessivamente complexos.
É necessário adotar uma abordagem rigorosa para evitar esses obstáculos. Abaixo estão algumas táticas que costumo empregar:
- Dê preferência às necessidades fundamentais. Foque nas funcionalidades essenciais indispensáveis para atingir seus principais objetivos. Evite a tentação de exagerá-las.
- Planeje de forma abrangente e cuidadosa. Dedique tempo na etapa de planejamento para identificar quais serviços são indispensáveis.
- Inicie de maneira modesta e aumente progressivamente. Comece com um MVP que se concentre em funcionalidades essenciais.
- Construir uma equipe de arquitetura de inteligência artificial generativa de alta qualidade envolve a seleção de profissionais em engenharia de AI, cientistas de dados, especialistas em segurança de AI, entre outros, que compartilham a abordagem de utilizar o necessário sem exagerar. Se dois times de arquitetura de AI generativa diferentes forem consultados com os mesmos problemas, é possível obter planos com diferenças de custo de até US $10 milhões. Em geral, a equipe que tende a gastar mais é a que comete erros.
A razão pela qual escolhemos inicialmente utilizar a nuvem pública é devido ao seu poder e flexibilidade, no entanto, é importante ter cuidado para não cair na armadilha de criar sistemas de inteligência artificial generativa excessivamente complexos. É essencial planejar cuidadosamente, escolher os serviços com sabedoria e buscar a otimização contínua ao construir soluções de inteligência artificial acessíveis. Seguindo esses princípios, as empresas podem explorar todo o potencial da IA generativa sem se deparar com as complicações e custos de um sistema superengenheirado.
Outras obras de David Linthicum.
- A tecnologia de nuvem sem servidor some.
- O futuro da computação em nuvem nos próximos 10 anos.
- A total luminosidade da Inteligência Artificial em interfaces simplificadas.
