Tối ưu hóa bảo mật đám mây: Cách Orca Security giảm 90% chi phí API AI nhờ Amazon Bedrock

Trong kỷ nguyên số, các hệ thống bảo mật đám mây đang ngày càng trở nên khổng lồ và phức tạp. Để truy vấn một rủi ro hay lỗ hổng, các chuyên gia an ninh mạng thường phải chật vật với những dòng lệnh kỹ thuật khô khan.

Nhằm giải phóng người dùng, Orca Security đã hợp tác cùng AWS tạo ra Discovery AI – tính năng cho phép đặt câu hỏi bảo mật bằng ngôn ngữ tự nhiên. Tuy nhiên, hành trình đưa AI vào thực tế không hề dễ dàng. Họ đã từng đối mặt với bài toán chi phí khổng lồ khi vận hành AI, trước khi tìm ra “lời giải” mang tên Amazon Bedrock.

Dưới đây là câu chuyện về cách Orca Security “lột xác” hệ thống của mình, cắt giảm tới 90% hóa đơn API AI mà vẫn duy trì độ chính xác tuyệt đối.

Bài toán “ngốn tiền” của hệ thống AI một mô hình

Hệ thống Sonar của Orca Security quản lý một kho dữ liệu khổng lồ với hơn 900 loại mô hình đám mây khác nhau (như Amazon EC2, Amazon S3…). Để truy vấn dữ liệu này, người dùng phải nhớ chính xác tên mô hình, điều hướng các mối quan hệ lồng nhau phức tạp và chọn đúng từ 18 toán tử khác nhau.

Ở phiên bản AI thử nghiệm đầu tiên, đội ngũ kỹ sư của Orca đã mắc phải một cái bẫy rất phổ biến: Dùng một mô hình AI ngôn ngữ lớn (LLM) duy nhất để gánh vác mọi việc.

Họ nhồi nhét toàn bộ lược đồ (schema) Sonar gồm hơn 900 định nghĩa mô hình vào một câu lệnh (prompt) duy nhất trên mô hình lớn nhất. Hậu quả của phương pháp này là một thảm họa về hiệu suất và tài chính khi đưa vào vận hành thực tế:

Tiêu thụ Token khổng lồ: Mỗi lần người dùng đặt câu hỏi, AI phải đọc một lượng dữ liệu tương đương 2 triệu token.
Chi phí API đội trần: Các mô hình LLM lớn tính phí dựa trên số lượng token xử lý. Việc tiêu tốn 2 triệu token cho mỗi câu hỏi khiến chi phí API tăng vọt đến mức không thể áp dụng cho hàng ngàn truy vấn mỗi ngày.
Độ trễ quá cao: Mất khoảng 60 giây cho mỗi lượt xử lý – quá chậm để phản ứng với một sự cố an ninh mạng khẩn cấp.
Độ chính xác hạn chế: AI dễ bị “nhiễu” thông tin khi phải xử lý các truy vấn phức tạp liên quan đến nhiều mô hình cùng lúc.

Giải pháp từ Amazon Bedrock: Kiến trúc đa mô hình với 9 bước tối ưu

Nhận ra sự lãng phí, Orca Security quyết định đập đi xây lại. Họ chuyển sang sử dụng Amazon Bedrock – nền tảng đám mây của AWS cho phép kết hợp linh hoạt hàng loạt các mô hình AI từ nhiều nhà cung cấp khác nhau.

Orca đã thiết kế Discovery AI thành một giải pháp lai, kết hợp giữa Retrieval Augmented Generation (RAG) và xây dựng truy vấn dựa trên lược đồ. Hệ thống chia quy trình xử lý thành 9 bước tự động, giao cho các mô hình AI nhỏ gọn, chuyên biệt làm từng nhiệm vụ cụ thể:

Nhập yêu cầu và thiết lập ngữ cảnh: Tiếp nhận câu hỏi bằng ngôn ngữ tự nhiên của người dùng và kết hợp với ngữ cảnh hệ thống.
Bộ so khớp nhanh (Deterministic Quick Matcher): Tự động nhận diện các đầu vào có cấu trúc (như địa chỉ IP, mã CVE…) để trả về bộ lọc ngay lập tức mà không cần gọi đến LLM, tiết kiệm chi phí tuyệt đối ở bước đầu.
Sàng lọc an toàn (LLM Guardrail Screening): Kiểm tra tính an toàn, hợp lệ và đảm bảo yêu cầu không vi phạm chính sách.
Truy xuất ứng viên ngữ nghĩa (Semantic Retrieval): Sử dụng Amazon Titan Text Embeddings để tìm kiếm các ví dụ truy vấn thành công tương tự trong quá khứ.
Xếp hạng độ liên quan (Reranking): Dùng Cohere Rerank 3.5 để đánh giá và chọn ra 5 ví dụ sát nhất với câu hỏi.
Lựa chọn mô hình (Model Selection): Thu hẹp từ 900+ mô hình đám mây xuống chỉ còn một vài mô hình thực sự liên quan đến truy vấn.
Tạo bộ lọc qua Tác nhân (Agent Filter Generation): Sử dụng một tác nhân chuyên biệt để biến câu hỏi và dữ liệu đã được khoanh vùng thành đoạn mã lọc truy vấn chuẩn xác.
Xác thực tĩnh và API (Validation): Rà soát lỗi cú pháp và ngữ nghĩa của đoạn mã vừa tạo trước khi bấm nút thực thi.
Xử lý hậu kỳ và phản hồi: Hoàn thiện và trả kết quả chính xác về cho người dùng.

Trong quy trình này, Orca đã phân bổ linh hoạt sức mạnh của các mô hình trên Amazon Bedrock:

Anthropic Claude Haiku: Đảm nhận vai trò Lựa chọn mô hình (Model Selector) và Tạo bộ lọc (Generator) nhờ tốc độ cực nhanh và chi phí rẻ.
Amazon Nova Lite: Làm nhiệm vụ Soát lỗi và Kiểm duyệt (Guardrail & Validator).
Amazon Titan Text Embeddings & Cohere Rerank 3.5: Phụ trách tìm kiếm và xếp hạng ngữ nghĩa.

Bí quyết thực sự đằng sau con số “giảm 90% chi phí”

Con số giảm 90% chi phí ở đây hoàn toàn là chi phí chi trả cho API của các mô hình trí tuệ nhân tạo (LLM API Costs). Sự tối ưu này đến từ công thức kép:

Giảm 93% dữ liệu thừa: Nhờ bước khoanh vùng và chắt lọc ngữ cảnh, lượng token đầu vào mà AI cần phải đọc đã giảm mạnh từ mốc 2 triệu token xuống chỉ còn khoảng 140.000 token cho mỗi tác vụ tương đương.
Đơn giá Token rẻ hơn: Việc thu gọn dung lượng dữ liệu cho phép Orca chuyển sang dùng các mô hình nhỏ gọn, tốc độ cao (như Claude Haiku hay Amazon Nova Lite) trên Bedrock với đơn giá API rẻ hơn rất nhiều so với các mô hình khổng lồ đắt đỏ trước đây.

Việc giảm đồng thời cả số lượng token cần xử lý lẫn đơn giá trên mỗi token đã tạo ra tác động lũy thừa, kéo sập tổng chi phí vận hành API xuống 90%.

Kết quả thực tế: Nhanh hơn, Rẻ hơn, Hiệu quả hơn

Sau khi triển khai Discovery AI vào môi trường sản xuất thực tế trên nền tảng Amazon Bedrock, Orca Security đã ghi nhận những chỉ số hiệu năng vượt trội:

Tiết kiệm 90% chi phí API AI vận hành hệ thống.
Cắt giảm 93% lượng token thừa thãi đầu vào.
Tăng tốc độ gấp 4 lần: Độ trễ giảm 75%, rút ngắn thời gian xử lý từ 60 giây xuống chỉ còn trung bình 15 giây.

Tính đến nay, hệ thống Discovery AI này đang xử lý mượt mà hàng ngàn truy vấn bảo mật đám mây phức tạp mỗi ngày trong môi trường thực tế.

KẾT LUẬN

Hành trình của Orca Security là một bài học đắt giá cho bất kỳ doanh nghiệp nào đang muốn ứng dụng AI vào hệ thống của mình: Trong thế giới AI, mô hình lớn nhất không phải lúc nào cũng là giải pháp tốt nhất.

Sự kết hợp thông minh giữa quy trình xử lý chắt lọc dữ liệu và khả năng linh hoạt chọn lựa mô hình của nền tảng Amazon Bedrock chính là chìa khóa để kiến tạo nên một hệ thống bảo mật đám mây vừa mạnh mẽ, siêu tốc, lại vừa tiết kiệm tối đa ngân sách vận hành.