Mercedes-Benz’in yeni nesil otomobillerine entegre edilen ChatGPT destekli sesli asistan, artık sürücülerle sadece navigasyon değil, neredeyse her konuda sohbet edebiliyor. Kullanıcılar, “Merhaba Mercedes” diyerek başlattıkları konuşmalarla araç içi deneyimi kişiselleştirebiliyor. Ancak bu yapay zekâ destekli asistan, bazı konularda susuyor ya da sohbeti kibarca başka yöne çekiyor. ZEIT tarafından yapılan bir araştırma, özellikle iklim değişikliği veya toplumsal hassasiyet taşıyan konuların sistem tarafından kasıtlı olarak geçiştirildiğini ortaya koydu.
Mercedes’in yapay zekâsına sınırlar çizilmiş
2023 yılında başlatılan pilot projeyle ilk olarak lüks sınıf araçlarda test edilen sistem, 2024 Aralık ayından itibaren Almanya genelinde daha geniş kitlelere ulaştırıldı. Mercedes-Benz, bu yeni sistemin sadece belirli komutlara yanıt vermekle sınırlı kalmadığını, doğal dil anlama yeteneğinin geliştiğini ve çok daha çeşitli konularda konuşma kabiliyetine sahip olduğunu vurgulamıştı. Ancak şirketin kendi belirlediği kurallar çerçevesinde bu çeşitlilik sınırlı.
ZEIT’in araştırmasına göre, ChatGPT tabanlı sesli asistana "Hangi konular hakkında konuşamazsın?" gibi doğrudan sorular yöneltildiğinde, sistem açık cevaplar veriyor. “Siyasi, toplumsal cinsiyetle ilgili veya dini konulara girmem ve bu konularda görüş belirtmem,” yanıtını veren asistan, otomotiv sektörünün olası olumsuz etkileriyle ilgili sorulara da yanıt vermekten kaçınıyor. Bu tür soruları, Mercedes-Benz’in olumlu çevre inisiyatiflerine odaklandığı şeklinde gerekçelendiriyor.
Sistemi yönlendiren gizli talimatlar
Uzmanlar, bu durumun temelinde "sistem promptları" adı verilen gizli yönergelerin yattığını belirtiyor. Bu talimatlar, üreticiler tarafından yapay zekâya verilen direktifler ve sistemin ne söyleyip ne söylememesi gerektiğini belirliyor. Bu tür prompt’lar genellikle gizli tutuluyor ve kullanıcılar tarafından bilinmiyor. Mercedes’in chatbot sisteminin de bu şekilde sınırlandırıldığı anlaşılıyor. Benzer sınırlamalar Snapchat gibi diğer uygulamaların chatbot’larında da görülüyor.
Sistem prompt’ları çoğu zaman güvenlik ve yönlendirme amacıyla kullanılsa da, ZEIT’in başka bir araştırması bu uygulamaların nasıl manipülatif hale gelebileceğini gösteriyor. Örneğin, sahte bir terapi chatbot’unun, kaygı bozukluğu için bilimsel temeli olmayan bir gıda takviyesini önerdiği ve bunu desteklemek için uydurma çalışmalar sunduğu ortaya çıkmıştı. Bu botun, ürünü üreten şirket tarafından geliştirildiği ve sistem prompt’unda ilacı teşvik etmesi gerektiği yazılıydı.
Şeffaflık eksikliği güven sorunu yaratabilir
Mercedes-Benz’in kullanıcılarını yanıltmak gibi bir niyeti olduğu yönünde doğrudan bir iddia yok. Hatta çoğu müşteri, aracın kendisini üreten markayı eleştirmemesini doğal karşılayabilir. Ancak uzmanlar, böyle bir yönlendirme varsa bunun kullanıcıya açıkça belirtilmesi gerektiğini savunuyor. Çünkü sistemin verebileceği bazı yanıtlar, markanın kurumsal imajıyla uyuşmayan sınırları zorlayan mesajlar içerebilir.
Şirketlerin yapay zekâ sistemlerine koyduğu sınırlamalar anlaşılır olsa da, bu sınırlamaların bilinçli biçimde şeffaf olmaması, kullanıcıların güvenini sarsabilir.