Phương pháp Tăng cường Dữ liệu dựa trên Mean-Field Game

Tổng quan

Bài báo giới thiệu MFG Augment, một phương pháp tăng cường dữ liệu (Data Augmentation) dựa trên lý thuyết Mean-Field Game (MFG). Ý tưởng trung tâm là coi mỗi ảnh như một phân phối trên không gian pixel hoặc không gian đặc trưng (feature space). Sử dụng lý thuyết MFG, bài báo xây dựng một "đường dẫn" liên tục về thời gian (time-continuous path) giữa hai phân phối ảnh để tạo ra các ảnh tăng cường. Điều này giúp cải thiện khả năng tổng quát hóa và độ chính xác trong phân loại hình ảnh, đặc biệt hiệu quả khi kích thước tập dữ liệu nhỏ. Các thử nghiệm trên MNIST, CIFAR-10, và ImageNet cho thấy MFG Augment vượt trội hơn so với các phương pháp Cutout, Cutmix và Augmix. Đặc biệt, với tập MNIST giảm kích thước xuống 2,000 mẫu, MFG Augment đạt 98.52% độ chính xác, cao hơn Augmix 1.17%.

Phương pháp và Điểm mới

Phương pháp sử dụng

Image-level MFG Augment: Coi mỗi ảnh như một phân phối trên không gian pixel, sử dụng phương trình Hamilton-Jacobi-Bellman (HJB) và Fokker-Planck-Kolmogorov (FPK) để tạo đường dẫn liên tục giữa hai ảnh nhằm tạo dữ liệu tăng cường.
Feature-level MFG Augment: Coi cả tập dữ liệu như một phân phối trên không gian đặc trưng (feature space) và sử dụng mạng APAC-Net để tìm đường dẫn giữa hai phân phối đặc trưng.

Điểm mới của nghiên cứu

Ứng dụng lý thuyết Mean-Field Game vào Data Augmentation: Đây là lần đầu tiên lý thuyết MFG được áp dụng trong lĩnh vực này.
Tối ưu hóa đường dẫn (Optimal Path): Sử dụng HJB và FPK để đảm bảo đường dẫn có độ phân kỳ tối thiểu so với phân phối gốc, giúp dữ liệu tăng cường duy trì đặc tính nguyên gốc tốt hơn.
Cải thiện Affinity và Diversity: MFG Augment đạt Affinity ~ 0.92 và Diversity ~ 2.5, cao hơn tất cả các phương pháp so sánh.

Thí nghiệm và Kết quả

Thiết lập Thí nghiệm

Dataset: Thực nghiệm trên MNIST, CIFAR-10, và ImageNet với các mô hình EfficientNet, ResNet-18, và ResNet-50.
So sánh với Cutout, Cutmix, và Augmix: So sánh hiệu suất trên các tập dữ liệu giảm kích thước từ 50 đến 50,000 mẫu.

Kết quả và Quan sát

MNIST: Khi giảm tập MNIST xuống 2,000 mẫu, MFG Augment đạt 98.52% độ chính xác trên EfficientNet, cao hơn Augmix 1.17%.
CIFAR-10: Khi tập giảm xuống 2,000 mẫu, MFG Augment đạt 65.11% độ chính xác, cao hơn Augmix 16.56%.
ImageNet: Khi huấn luyện trên 1/4 ImageNet, MFG Augment đạt 61.13% độ chính xác, cao hơn Augmix 4.1%.

Hướng phát triển trong tương lai

Tích hợp với các phương pháp Data Augmentation khác: Kết hợp với các phương pháp hiện tại để cải thiện hiệu suất.
Giảm độ phức tạp tính toán: Tối ưu hóa thuật toán để giảm thời gian tính toán trên các tập dữ liệu lớn.
Ứng dụng trên các lĩnh vực khác: Mở rộng áp dụng MFG Augment cho các lĩnh vực khác như xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính (CV).

Tài liệu tham khảo

Bài báo gốc: Game Theory Meets Data Augmentation