A migração para Kubernetes quase matou a nossa startup. Onde estávamos: - 8 instâncias EC2 - Ansible para implantações - Chato, mas funcionando - $1200/mês de conta AWS Por que migramos: - Novo investidor queria 'nativo na nuvem' - Engenheiros queriam experiência em K8s - Concorrentes estavam usando - Parecia ser o futuro 6 meses depois: - 3 engenheiros dedicando tempo integral ao K8s - Conta da AWS em $4500/mês - Implantações demoravam mais do que antes - Mais interrupções, não menos - Desenvolvimento do produto estagnado Voltamos atrás: - Mudamos para ECS Fargate - Migração de 2 semanas - De volta a $1800/mês - Engenheiros de volta às funcionalidades K8s é incrível para escalabilidade. Não estávamos em escala. A tecnologia deve resolver problemas que você realmente tem.

Adicionada compressão gzip à nossa API. O tamanho da resposta caiu 85%, a latência caiu 60%. Antes da compressão: - Resposta média: 240 KB - Tempo de transferência: 400ms - Custo de largura de banda: $220/mês Depois da compressão: - Resposta média: 36 KB - Tempo de transferência: 48ms - Custo de largura de banda: $70/mês Middleware de compressão adicionado Resultados: - Tempo de carregamento: 88% mais rápido - Largura de banda: redução de 68%

Um testador de penetração obteve acesso root ao nosso cluster Kubernetes em 15 minutos. Aqui está o que eles exploraram. A cadeia de ataque: - Encontrou o painel do Kubernetes exposto (culpa nossa) - O painel tinha uma conta de serviço apenas para visualização (pensávamos que isso era seguro) - A conta de serviço podia listar segredos em todos os namespaces - Encontrou credenciais da AWS em um segredo - Usou as credenciais da AWS para acessar o perfil da instância EC2 - O perfil da instância tinha acesso total de administrador do Kubernetes via IAM - Usou kubectl para criar um pod privilegiado - Escapou para o nó - Acesso root a todo o cluster O que pensamos que fizemos certo: - O painel era somente leitura - Os segredos estavam criptografados em repouso - Políticas de rede estavam em vigor - Atualizações de segurança regulares O que perdemos: - O painel não deveria estar exposto de forma alguma - As contas de serviço precisam do princípio do menor privilégio - Os segredos não deveriam conter credenciais da AWS (use IRSA em vez disso) - As Políticas de Segurança de Pods não foram aplicadas - O acesso ao nó não foi endurecido A correção levou 2 semanas: - Removido o painel do Kubernetes completamente - Implementado IRSA para todo o acesso AWS dos pods - Aplicadas PSPs/Normas de Segurança de Pods rigorosas - Auditoria de todas as permissões RBAC - Testes de penetração regulares Custo: $24K pelo pentest Valor: Impediu o que poderia ter sido uma violação catastrófica