Google Research ve DeepMind, VaultGemma adlı yeni bir büyük dil modelini tanıttı. 1 milyar parametreye sahip model, diferansiyel gizlilik kullanarak hassas verilerin sızmasını önlüyor ve performanstan ödün vermiyor. VaultGemma, Gemma mimarisi üzerine inşa edildi ve sıfırdan eğitildi.

Diferansiyel gizlilik algoritması, veri paylaşımı sırasında bireysel bilgilerin tanınmasını zorlaştırmak için kontrollü gürültü ekliyor. VaultGemma, bu tekniği uygularken geleneksel LLM’lerde görülen hesaplama-gizlilik-performans ödünlerini ortadan kaldırmayı başarıyor.

Model, finans ve sağlık gibi hassas sektörlerde güvenli yapay zeka çözümleri için kritik bir özellik sunuyor. MMLU ve Big-Bench benchmark testlerinde, VaultGemma gizliliği korurken önceki gizli olmayan Gemma modelleriyle benzer performans gösterdi.

VaultGemma’nın ağırlıkları ve kod tabanı Hugging Face ile Kaggle’da açık kaynak olarak paylaşıldı. Araştırmacılar, geliştirilen diferansiyel gizlilik ölçekleme yasalarının çok daha büyük LLM’lere de uygulanabileceğini belirtiyor.