Việc di chuyển Kubernetes gần như đã giết chết startup của chúng tôi. Nơi chúng tôi đã ở: - 8 EC2 instances - Ansible để triển khai - Nhàm chán nhưng vẫn hoạt động - Hóa đơn AWS 1200 đô la/tháng Tại sao chúng tôi di chuyển: - Nhà đầu tư mới muốn 'cloud-native' - Kỹ sư muốn có kinh nghiệm K8s - Đối thủ đang sử dụng nó - Có vẻ như là tương lai 6 tháng sau: - 3 kỹ sư dành toàn bộ thời gian cho K8s - Hóa đơn AWS lên tới 4500 đô la/tháng - Việc triển khai mất nhiều thời gian hơn trước - Nhiều sự cố hơn, không ít hơn - Phát triển sản phẩm bị đình trệ Chúng tôi đã quay lại: - Chuyển sang ECS Fargate - Di chuyển trong 2 tuần - Quay lại 1800 đô la/tháng - Kỹ sư quay lại với các tính năng K8s thật tuyệt vời cho quy mô. Chúng tôi không ở quy mô đó. Công nghệ nên giải quyết những vấn đề mà bạn thực sự gặp phải.

Đã thêm nén gzip vào API của chúng tôi. Kích thước phản hồi giảm 85%, độ trễ giảm 60%. Trước khi nén: - Phản hồi trung bình: 240 KB - Thời gian truyền: 400ms - Chi phí băng thông: 220 đô la/tháng Sau khi nén: - Phản hồi trung bình: 36 KB - Thời gian truyền: 48ms - Chi phí băng thông: 70 đô la/tháng Đã thêm middleware nén Kết quả: - Thời gian tải: nhanh hơn 88% - Băng thông: giảm 68%

Một chuyên gia kiểm tra xâm nhập đã có quyền truy cập root vào cụm Kubernetes của chúng tôi trong 15 phút. Đây là những gì họ đã khai thác. Chuỗi tấn công: - Tìm thấy bảng điều khiển Kubernetes bị lộ (lỗi của chúng tôi) - Bảng điều khiển có tài khoản dịch vụ chỉ xem (chúng tôi nghĩ rằng điều này là an toàn) - Tài khoản dịch vụ có thể liệt kê các bí mật trên tất cả các không gian tên - Tìm thấy thông tin xác thực AWS trong một bí mật - Sử dụng thông tin xác thực AWS để truy cập vào hồ sơ phiên EC2 - Hồ sơ phiên có quyền quản trị Kubernetes đầy đủ thông qua IAM - Sử dụng kubectl để tạo pod có quyền hạn - Thoát ra nút - Quyền truy cập root vào toàn bộ cụm Những gì chúng tôi nghĩ rằng chúng tôi đã làm đúng: - Bảng điều khiển chỉ đọc - Các bí mật được mã hóa khi lưu trữ - Chính sách mạng đã được thiết lập - Cập nhật bảo mật thường xuyên Những gì chúng tôi đã bỏ lỡ: - Bảng điều khiển không nên bị lộ chút nào - Tài khoản dịch vụ cần nguyên tắc quyền tối thiểu - Các bí mật không nên chứa thông tin xác thực AWS (sử dụng IRSA thay vào đó) - Chính sách bảo mật pod không được thực thi - Quyền truy cập nút không được củng cố Việc sửa chữa mất 2 tuần: - Xóa hoàn toàn bảng điều khiển Kubernetes - Triển khai IRSA cho tất cả quyền truy cập AWS của pod - Áp dụng PSPs/Chuẩn bảo mật pod nghiêm ngặt - Kiểm tra tất cả quyền RBAC - Kiểm tra xâm nhập thường xuyên Chi phí: 24.000 USD cho việc kiểm tra xâm nhập Giá trị: Ngăn chặn những gì có thể đã trở thành một cuộc xâm nhập thảm khốc