ABD’deki Massachusetts Teknoloji Enstitüsü’nün (MIT) yaptığı yeni bir araştırmada, yapay zekâyı eğitmekte kullanılan en popüler veri kümelerinde yüzde 3,4 oranında hata saptandı. Görsel, sesli ve metinsel içeriklerin hatalı etiketlenmesi, bugüne dek bu verileri kullanan yapay zekâ uygulamalarının yanlış eğitildiği anlamına geliyor.
MIT’nin yeni araştırmasında, akademik çalışmalarda her biri 100 binin üzerinde atıf alan 10 adet veri kümesi incelendi. Bu popüler veri kümeleri, makine öğrenme yoluyla yapay zekâ uygulamalarının geliştirilmesinde kullanılıyor.
Araştırmanın sonuçları, bağımsız bir internet sitesi olarak dün yayımlandı. Etkileşimli sitede, hangi veri kümesinde, hangi içeriğin, nasıl etiketlendiği görülebiliyor. Ayrıca araştırmacıların, kitle desteği yoluyla yaptıkları sağlama işlemenin sonucu da sitede yer alıyor.
Veri kümelerinin altısı görsel, üçü metin, biri ise ses bazlı. Fotoğraf, çizim ve ses tanımanın yanı sıra, örneğin Amazon gibi sitelerdeki kullanıcı yorumlarının duygu analizleri de bu kümelerde etiketli olarak yer alıyor.
Sonuçlara göre, veri kümelerindeki etiketlemelerin ortalama yüzde 3,4’ü yanlış. Google’ın oyunlaştırma yoluyla oluşturduğu QuickDraw, yüzde 10.1 ile en yüksek oranda yanlış barındıran veri kümesi. Ancak QuickDraw aynı zamanda 50 milyonu aşkın görsel etiketiyle bu alanda en büyük veri kümesi. En düşük hata oranı ise 10 bin kadar görsel etiket barındıran MNIST veri kümesi.
Üstteki görselde de görüldüğü gibi bazı hatalar, diğerlerinden daha bariz. Örneğin bu bebek görseli, veri kümesinde “meme ucu” diye etiketlenerek ciddi bir hata yapılmış. Ama fotoğraftaki teknenin türünün yanlış etiketlendiği daha affedilebilir hatalar da mevcut.
Gerçek dünyanın verileri ‘gürültülü’
Son 20 yılın en popüler veri kümelerinde beklenenden çok daha yüksek oranlarda hata saptanmasının, yapay zekâ çalışmaları için moral bozucu olduğu ifade ediliyor. Saptayabildikleri hataları düzeltip her bir veri kümesinin daha temiz versiyonunu yayımlayan araştırmacılar, makalede şu yorumu yaptı:
- Makine öğrenme uygulayıcıları, geleneksel olarak testteki isabet oranına bakıp hangi modeli kullanacaklarını seçerler. Bulgularımız, bu noktada ihtiyatlı davranmalarını tavsiye ediyor. Doğru biçimde etiketlenmiş [daha küçük] test kümelerini kullanmaları, gerçek dünyanın ‘gürültülü’ [ama büyük] veri kümeleriyle çalışmalarından daha faydalı olabilir.
Kitle destek yöntemlerinin yanı sıra web kazıma ile internetten toplanan büyük veri kümeleri de geçmişte hem teknik, hem de etik sorunlara neden olmuştu.
Uluslararası yapay zekâ topluluğunda, sorunsuz veri kümeleri geliştirilmesi yönünde çabalar sürüyor.
MIT araştırmasında incelenen veri kümelerinden ImageNet’in yaratıcıları da bu hafta bu yönde bir adım attı. “İnsanlar” başlıklı alt veri kümesindeki yüzler, artık mahremiyet hakları gereği buzlanmış hâlde araştırmacılara sunuluyor. Bu veri kümesinde, hatalı ve hatta ırkçı etiketler içerdiği saptanan kategorilerin de silinmesi bekleniyor.
İLGİNİZİ ÇEKEBİLİR – GPT3 YAPAY ZEKÂDA ÇIĞIR AÇTI
