Các kỹ sư của Facebook tiết lộ, thông qua một báo cáo, sự ra đời của công nghệ TMO (Giảm tải bộ nhớ trong suốt) vào năm ngoái, cho phép tiết kiệm đáng kể RAM trên máy chủ bằng cách di chuyển dữ liệu thứ cấp không cần thiết để hoạt động trên các ổ đĩa rẻ hơn như SSD NVMe.
Facebook ước tính rằng TMO tiết kiệm từ 20% đến 32% RAM trên mỗi máy chủ. Giải pháp được thiết kế để sử dụng trong các cơ sở hạ tầng nơi các ứng dụng chạy trong các vùng chứa biệt lập. Các thành phần phía nhân của TMO chúng đã được đưa vào nhân Linux.
Về phía hạt nhân Linux, hoạt động thuộc về Công nghệ được cung cấp bởi hệ thống con PSI (Thông tin về quầy áp suất), được cung cấp từ phiên bản 4.20.
PSI đã được sử dụng trong nhiều trình điều khiển hết bộ nhớ và cho phép phân tích thông tin về thời gian chờ cho các tài nguyên khác nhau (CPU, bộ nhớ, I / O). Với PSI, bộ xử lý không gian người dùng có thể đánh giá chính xác hơn các kiểu tải và làm chậm hệ thống, cho phép phát hiện các điểm bất thường trước khi chúng có tác động đáng kể đến hiệu suất.
Trong không gian người dùng, thành phần Senpai chạy TMO, tự động điều chỉnh giới hạn bộ nhớ cho các vùng chứa ứng dụng thông qua cgroup2 dựa trên dữ liệu nhận được từ PSI.
Senpai phân tích các dấu hiệu bắt đầu của sự thiếu hụt tài nguyên thông qua PSI, đánh giá độ nhạy của các ứng dụng đối với việc truy cập bộ nhớ chậm và cố gắng xác định kích thước bộ nhớ tối thiểu cần thiết đối với vùng chứa, trong đó dữ liệu cần thiết cho công việc vẫn còn trong RAM và dữ liệu liên quan đã nằm trong bộ đệm tệp hoặc hiện không được sử dụng trực tiếp, bị buộc phải chuyển ra phân vùng hoán đổi.
Giảm tải bộ nhớ trong suốt (TMO) là giải pháp của Meta cho các môi trường trung tâm dữ liệu không đồng nhất. Nó giới thiệu một cơ chế nhân Linux mới để đo công việc bị mất do thiếu hụt tài nguyên trong CPU, bộ nhớ và I / O trong thời gian thực. Được hướng dẫn bởi thông tin này và không có bất kỳ kiến thức trước về ứng dụng, TMO tự động điều chỉnh lượng bộ nhớ giảm tải cho một thiết bị không đồng nhất, chẳng hạn như bộ nhớ nén hoặc SSD. Nó thực hiện điều này dựa trên đặc điểm hiệu suất của thiết bị và độ nhạy của ứng dụng đối với việc truy cập bộ nhớ chậm hơn.
Do đó, bản chất của TMO là duy trì các quy trình theo "chế độ ăn kiêng nghiêm ngặt" về tiêu thụ trí nhớ, buộc các trang bộ nhớ không sử dụng phải được chuyển đến phân vùng hoán đổi, việc loại bỏ chúng không ảnh hưởng đáng kể đến hiệu suất (ví dụ: các trang có mã chỉ được sử dụng trong quá trình khởi tạo và dữ liệu một lần được lưu trữ trên đĩa). Không giống như truyền thông tin vào phân vùng hoán đổi để đáp ứng với bộ nhớ thấp, TMO truyền dữ liệu dựa trên dự đoán dự đoán.
Việc không có quyền truy cập vào trang bộ nhớ trong vòng 5 phút được sử dụng như một trong những tiêu chí ưu tiên. Các trang này được gọi là trang lạnh và trung bình, chúng chiếm khoảng 35% bộ nhớ của ứng dụng (tùy loại ứng dụng mà có sự dao động từ 19% đến 65%).
Tùy chọn này có tính đến hoạt động liên quan đến các trang ẩn danh của bộ nhớ (bộ nhớ do ứng dụng cấp phát) và bộ nhớ được sử dụng cho bộ nhớ đệm tệp (do hạt nhân cấp phát). Trong một số ứng dụng, bộ nhớ ẩn danh là tiêu thụ chính, nhưng trong những ứng dụng khác, bộ nhớ đệm tệp cũng rất quan trọng.
Để tránh mất cân bằng khi chuyển bộ nhớ vào bộ đệm, TMO sử dụng một thuật toán phân trang mới để xóa các trang ẩn danh và các trang được liên kết với bộ đệm tệp theo tỷ lệ.
Việc đẩy các trang không thường xuyên được sử dụng lên bộ nhớ chậm hơn không có tác động lớn đến hiệu suất, nhưng nó có thể làm giảm đáng kể chi phí phần cứng. Dữ liệu được gửi đến SSD hoặc không gian hoán đổi nén trong RAM. Với chi phí lưu trữ một byte dữ liệu, sử dụng SSD NVMe rẻ hơn tới 10 lần so với sử dụng nén trên RAM.
Cuối cùng, nếu bạn quan tâm có thể biết thêm về nó, bạn có thể tham khảo chi tiết Trong liên kết sau.
cái này có thể được sử dụng trong máy tính bình thường với các ứng dụng bình thường không?