Hoje em dia, os sistemas estão revelando mais da sua complexidade interna para os operadores. Esses são os avanços mais empolgantes na missão de lidar com essa complexidade.
A ideia de observabilidade teve origem nos anos 1960, com a contribuição fundamental de Rudolf E. Kalman no estudo da simplificação de sistemas complexos para facilitar a compreensão humana. Naquela época, houve um avanço significativo na computação em áreas como aeroespacial e navegação, que ultrapassou a capacidade humana de compreensão. O trabalho de Kalman é reconhecido por estabelecer os fundamentos da teoria da observabilidade.
Atualmente, a observação, que representa um mercado de US$ 9 bilhões, refere-se principalmente às estratégias de engenharia de confiabilidade do Google para serviços de grande escala como Google Search, Google Ads e YouTube.
De acordo com a credibilidade do site do Google, em 2003, coincidindo com o desenvolvimento do Borg, sistema operacional de cluster que inspirou o Kubernetes, o Google introduziu um novo sistema de monitoramento chamado Borgmon. Reconhecendo a complexidade de microsserviços em infraestrutura distribuída, o Google percebeu a necessidade de um modelo inovador para compreender sistemas dinâmicos em tempo real, evitando sobrecarregar equipes de plataforma com alertas incessantes.
Borgmon elevou a importância da coleta de dados de séries temporais no sistema de monitoramento, substituindo scripts de verificação por uma linguagem mais avançada para visualizar e gerar alertas a partir dessas séries.
Insira Prometheus e Grafana no campo de busca.
Borgmon foi a inspiração por trás do lançamento público do Prometheus em 2014, que se tornou a ferramenta de código aberto mais popular para monitoramento e alertas baseados em métricas. Paralelamente, o Grafana foi introduzido de forma independente para a visualização de dados observacionais. Juntas, essas duas tecnologias de código aberto geraram comunidades com milhões de desenvolvedores e impulsionaram a inovação na área de observabilidade, focada em métricas, logs e vestígios.
No entanto, a narrativa não termina por aí. Atualmente, os sistemas estão revelando deliberadamente cada vez mais sua complexidade subjacente. Lidamos com uma quantidade maior de dados e os sistemas estão se tornando mais distintos, enquanto as expectativas dos usuários continuam aumentando. Isso torna mais desafiador para os operadores humanos compreender o que está acontecendo. Portanto, eles necessitam de ferramentas para recuperar o controle, simplificar e compreender a complexidade exposta.
Vamos agora analisar o que está prestes a acontecer em relação à observação e aos avanços mais empolgantes nessa busca pela compreensão dos sistemas distribuídos.
Monitoramento do núcleo do sistema operacional com eBPF e Cilium.
À medida que os sistemas distribuídos avançaram, as abstrações na camada de rede também progrediram. Dois dos desenvolvimentos mais interessantes nesse campo são o eBPF e o Cilium, que permitem a extração de inteligência do nível do kernel para facilitar o acesso a arquivos, à rede e outras funcionalidades do sistema operacional pelo Linux.
Essas novas tecnologias, incluindo o Hubble, estabelecem uma rede de conexões sem a necessidade de alterar as aplicações, gerando uma quantidade valiosa de dados detalhados para monitorar eventos no nível mais profundo do sistema operacional. Atualmente, os usuários mais eficazes do eBPF e do Cilium estão priorizando a análise de rede ou o suporte para análise em larga escala em grandes conjuntos de serviços.
Garantia da segurança na cadeia de abastecimento de software e transparência na observação.
A recente exposição de vulnerabilidades de segurança, como a do Log4j, destacou a fragilidade dos componentes de software, como frameworks e bibliotecas, que os desenvolvedores utilizam para criar programas. Isso ressalta a importância de garantir a procedência e integridade desses elementos fundamentais. Um aspecto preocupante do Log4j foi a complexidade enfrentada pelas equipes de segurança não só para corrigir a falha, mas também para identificar sua presença no ambiente de desenvolvimento.
A extensa variedade de objetos presentes nos diferentes serviços oferecidos pelas empresas, juntamente com a complexa distribuição desses serviços, tem gerado um desafio para as equipes de segurança que vai além das capacidades da mente humana. Tudo indica que a observabilidade deve estar intimamente ligada à segurança da cadeia de fornecimento de software, e é provável que vejamos as tecnologias de segurança da cadeia de fornecimento cada vez mais integradas ao campo da observabilidade.
Melhorias na capacidade de observação e na usabilidade.
Apesar da crescente importância da observabilidade, ainda é necessária uma grande expertise na área. Os avanços na automação irão facilitar a detecção e seleção de dados relevantes. Existe a possibilidade de os painéis serem gerados automaticamente, de acordo com o tipo de dados recebidos. A instrumentação automática reduzirá o tempo necessário para obter valor ao estabelecer uma base de extração de dados, mesmo que isso resulte em um aumento ligeiro no volume global de dados e, consequentemente, nos custos.
Além disso, as visualizações de observabilidade irão avançar da primeira geração de GUI para a configuração como código, tornando-se um conceito central. Em vez de realizar configurações em interfaces web, os desenvolvedores irão interagir com dados de observabilidade e configurações por meio de APIs e integrações Git – ferramentas e conceitos familiares ao seu cotidiano. Dessa forma, os desenvolvedores poderão gerenciar todos os seus dados de observabilidade e visualizações programaticamente, incluindo para tarefas como CI/CD, rollbacks e demais operações modernas.
Observação do uso.
A monitorização tradicional de aplicações, conhecida como APM, tem limitações significativas ao focar exclusivamente na aplicação, sem considerar a infraestrutura subjacente. Este tipo de monitorização não consegue identificar problemas com fornecedores de nuvem, rede, armazenamento, bases de dados, e outros serviços com os quais a aplicação interage. Com as novas ferramentas de observação, desenvolvedores e operadores podem ter uma visão mais abrangente de todas as operações de uma empresa, permitindo uma transição suave entre métricas, logs, rastreios e perfis. Isso resulta em redução do tempo médio de recuperação (MTTR) e melhoria da satisfação do usuário.
Reflexões finais
A demanda crescente por maior observabilidade está sendo motivada principalmente pela popularização de microsserviços e computação em nuvem nativa, que têm superado as limitações dos modelos de serviço anteriores. À medida que as organizações adotam essas novas arquiteturas para facilitar a execução de mais tarefas de forma simultânea por equipes independentes, elas também têm experimentado as vantagens da escalabilidade horizontal, embora possam ter perdido um pouco da escalabilidade vertical.
Essa troca de decisão na engenharia é justificável do ponto de vista comercial, porém acarreta em um custo: A maior parte das complicações inerentes desses sistemas é claramente visível. Conforme várias equipes descobriram, as ferramentas mais avançadas não conseguem lidar, simplificar e compreender essa complexidade. Por outro lado, a ausência de ferramentas modernas levou muitas equipes ao fracasso.
No cenário econômico atual, é essencial que as empresas se destaquem em confiabilidade em relação aos concorrentes, ao mesmo tempo em que otimizam a utilização de recursos. Ao otimizar a eficiência e eficácia dos especialistas em recursos humanos, estamos preparando nossas equipes e organizações para alcançar o sucesso.
O redirecionamento do conhecimento humano para uma automação mais ampla impulsiona as revoluções industriais, do silício e da computação em nuvem. Em cada revolução, há ganhadores e perdedores. Agora, os vencedores serão aqueles que aplicarem os princípios de observabilidade modernos para compreender o funcionamento de suas plataformas em nuvem.
Richard “RichiH” Hartmann desempenha o cargo de diretor de comunidade na Grafana Labs e faz parte da equipe Prometheus. Ele é o fundador da OpenMetrics, membro da OpenTelemetry, e também está envolvido no conselho de administração CNCF e em diversos comitês.
Lo siento, pero necesito más información o contexto para poder parafrasear el texto. ¿Podrías proporcionarme más detalles o el texto completo para que pueda ayudarte mejor?
O fórum New Tech proporciona um espaço para analisar e debater de forma abrangente a tecnologia empresarial emergente. A seleção é feita com base na nossa visão das tecnologias consideradas relevantes e interessantes para os leitores do InfoWorld. Não há garantia de publicação e a InfoWorld se reserva o direito de editar todo o conteúdo contribuído. Quaisquer perguntas podem ser enviadas para newtechforum@infoworld.com.
