Anket sonuçları: Konda da açıkladı, seçim öncesinde oy oranları niye bu kadar farklı?

Güncelleme: Bu içeriğin yayımlanmasından sonra, 11 Mayıs’ta Konda ve Türkiye Raporu’nun son seçim anketi sonuçları da açıklandı. Kılıçdaroğlu’nun %49,3, Erdoğan’ın %43,7 oranında görüldüğü Konda anketinde, cumhurbaşkanlığı seçimi için “ilk turda bitme ihtimali var” ifadesi kullanıldı.

Seçime 10 gün kala medyaya yansıyan 20 anket sonucunun 15’inde cumhurbaşkanı adaylarından Kemal Kılıçdaroğlu, 5’inde ise Recep Tayyip Erdoğan önde görünüyor. Haberlere yansıyan anket sonuçlarındaki oranlar arasında ise yine büyük farklar var.

Seçim anketlerini ve seçmen davranışlarını inceleyen araştırmacılar Doç. Dr. Mert Moral ve İrem Aydaş ile iletişim akademisyeni Prof. Dr. Süleyman İrvan’a bunun nedenlerini sorduk. Uzmanlara göre her şirketin bilimsel yöntemlerle anket yapmadığını unutmamak ve standart ölçütleri gözardı etmemek gerekiyor. Anket sonuçları en azından “temkinli” haberleştirilmeli. Diken’in “editör notu” uygulaması, gazetecilere iyi bir örnek olarak gösteriliyor.

2023 cumburbaşkanlığı seçimi ve genel seçimlerinin 14 Mayıs’ta yapılması planlanıyor. Bugünlerde anketler, hem cumhurbaşkanlığı hem de milletvekili seçimlerinde birbirinden oldukça farklı sonuçlarla haberlere yansıyor.

Peki, seçim anketlerinin hangisi güvenilir? Bu soruya yanıt vermek için öncelikle ilgili araştırmanın künyesini de içeren tam metnine erişebilmek şart.

Bunu yapmak amacıyla bir dizi kamuoyu araştırması şirketine ulaştık. Sadece TÜSİAR, araştırmasının tam metnini internet sitesinde yayımlayıp bize de gönderdi. Diğer firmalar ya bu raporları sadece aboneleriyle paylaştıklarını bildirdiler veya mesajımıza yanıt vermediler.

Journo Haber Gözcüsü’nü denemek için tıkla

Elbette seçim anketinin tam metnine erişmek de yeterli değil. Metni dikkatle inceleyip bu araştırmada bilimsel yöntemlerin uygulanıp uygulanmadığını denetlemek gerekiyor. Ancak tüm araştırma raporlarına erişemediğimiz için böyle bir karşılaştırma yapmamız mümkün olmadı.

Araştırma şirketinin geçmişi ve “anketlerin anketi” fikir verebilir

Bir başka yöntem, ilgili kamuoyu araştırması şirketinin geçmişine ve önceki yıllarda yaptığı seçim anketlerindeki tahmin başarı oranına bakmak.

Bu yöntemin örneklerinden birini, Eren Tantekin’in geliştirdiği 600vekil.com sitesinde görmek mümkün. Bu sitenin “sicilini” incelediği 25 kamuoyu araştırma şirketi arasında bugün itibarıyla sadece Konda ve Aksoy, “A” notunu alabiliyor.

Bilimsel bir denetim yapmadan, seçim sonuçlarına dair daha sağlıklı bir öngörü edinmek isteyenlerin uyguladığı bir diğer yöntem ise ABD’den çıkıp yaygınlaşan “anketlerin anketi…”

“Tek bir şirket yanılsa bile çok sayıda anketin ortalaması doğruya daha yakın bir sonuç verecektir” önermesine dayanan bu yöntemin Türkiye’de son dönemde örneklerini görüyoruz.

Türkiye Raporu, kendi araştırmalarını da içeren bu tür bir anket derlemesini milletvekili seçimleri için de düzenli olarak yayımlıyor:

Biz de son dönemde medyada yer alan 20 kamuoyu araştırması şirketinin en son cumhurbaşkanlığı seçim anketi sonuçlarını derledik ve oranlardaki farkları göstermek istedik.

Bu anketlerde Erdoğan %49-41, Kılıçdaroğlu %51-44, Muharrem İnce %7,7-1,2, Sinan Oğan ise %5,5-1,1 aralığındaki oranlarda görülüyor. Kısacası 14 Mayıs’ta seçim sonuçları açıklandığında, bu şirketlerin birçoğunun, verdikleri hata paylarını aşması çok olası.

Bu haberin girişindeki grafikte görülen tüm verileri, anketlerin tarihleriyle birlikte aşağıda tablo biçiminde de bulabilirsiniz. İstediğiniz sütunun başlığına tıklayarak tablonun dizilişini değiştirebilirsiniz.

Çoğu seçim anketinde şeffaflık yok, hata payları aşılıyor

2011-2019 arasında toplam 8 seçim için 47 araştırma firmasının yaptığı 295 seçim anketini inceleyen bir araştırmada şöyle deniliyor:

• Ne yazık ki ülkemizde araştırma firmalarının ve medya organlarının şeffaflıktan uzak olmaları ve raporladıkları hata paylarından çok daha yüksek bir ölçüde yanılan tahminleri Türkiye’de seçim anketlerinin güvenilirlik ve geçerlilikleri hususunda gerek kamuoyu gerek siyasi elitler gerekse de uzmanlar için soru işaretleri oluşturuyor.

Bu araştırmanın yazarlarından İrem Aydaş ile görüştük. "Türkiye’de Yapılan Seçim Anketleri" isimli doktora tezini 2020'de Sabancı Üniversitesi'nde tamamlayan ve araştırma alanları arasında oy verme davranışı ile anket metodolojisi de bulunan Aydaş şunları söylüyor:

• Son yıllarda ülkemizde yapılan seçim anketleri, anket metodolojisi uzmanları tarafından geliştirilen ve ulusal-uluslararası meslek birlikleri tarafından sıkça vurgulanan ilke ve prosedürlere uygun olmayan bir şekilde gerçekleştiriliyor. Bu anketlerin sayısı da oldukça artmış durumda. Bu artışa rağmen, anketleri yapan kurumlar ve sonuçları halka sunan medya organları, anketlerin doğruluk ve güvenilirliklerini değerlendirmek için gerekli olan bilgileri şeffaf bir şekilde paylaşmıyor. Bu nedenle, seçim anketlerinin bilimsel standartlara uygun bir şekilde yapıldığına güvenmek maalesef mümkün değil.
• Bir anketin güvenirliği için şeffaflık olmazsa olmaz. Öteki türlü bir anketi değerlendirmek mümkün değil. Bu doğrultuda medya organlarına da rol düşüyor. Örneğin CNN International, 2020 yılının kasım ayındaki ABD başkanlık seçimleri öncesinde, şeffaf ve bilimsel seçim anketlerinin sonuçlarına dayanan tahminleri sunabilmek için "Şeffaflık Endeksi" oluşturdu. Bu endeksteki 16 soruya yanıt veremeyen anketleri haberlerinde kamuoyu ile paylaşmadı. (Editörün notu: Şeffaflık Endeksi sorularının tam metnini bu içeriğin sonunda bulabilirsiniz.)

Türkiye'de de bilimsel yöntemlerle yapılan anketler var

“Türkiye’de Seçim Anketlerinin Toplam Anket Hatası Perspektifinden Bir İncelemesi” başlıklı çalışmalarından bahseden Aydaş, Türkiye'de bazı bilimsel ölçütlerin hiç raporlanmadığını belirtiyor. "Örneğin bir anket için oldukça temel olan ağırlıklandırma değişkenleri ve bunların kaynakları neredeyse hiç belirtilmiyor. Çalışmamızda eksik raporlamaya ek olarak yanlış pratiklerin de oldukça yaygın olduğunu gördük. Örneğin kota örneklemlerde hesaplanamayacak hata payları raporlanıyor" diyor. 

Buna karşın Türkiye'de bilimsel standartları takip eden kamuoyu araştırma şirketleri de olduğunu belirten Aydaş sözlerini şöyle tamamlıyor:

• Bunların başında Uluslararası Sosyal Saha Çalışmaları Programı (International Social Survey Program, ISSP), Dünya Değerler Araştırması (World Values Survey, WVS) ve Karşılaştırmalı Seçim Sistemleri Çalışması (Comparative Study of Electoral Systems, CSES) kapsamında ülkemizde gerçekleştirilen anketler geliyor. Bu çalışmalar örneklem çerçevelesi olarak hedef kitle ile örtüşen Adrese Dayalı Nüfus Kayıt İstatistikleri’ni kullanıyor. Gerçekleştirilen seçim anketlerin pek çoğunun aksine bu çalışmalar olasılıklı örneklemler kullanıyor, anketler yüz yüze ve hanede gerçekleştiriliyor. Ayrıca tasarım raporları sponsor, ağırlıklandırma değişkenleri ve bunların kaynakları, görüşme doğrulama araçları, anket soru formu gibi bir anketi değerlendirebilmek için gerekli bilgileri içeriyor.

Doç. Dr. Mert Moral: Bu şekilde raporlanan tüm hata payları yanlış veya yalan

Aynı araştırmanın yazarlarından olan Sabancı Üniversitesi Sanat ve Sosyal Bilimler Fakültesi Öğretim Üyesi Doç. Dr. Mert Moral, birçok uluslararası ve ulusal ölçekli saha çalışmalarının da baş araştırmacılarından. Seçmen davranışı ve siyaset katılımı üzerine de çalışmalar yapan Moral; ABD, İngiltere ve Kanada'da da son dönemde anketlerin yanıldığını hatırlatıyor.

Ancak Türkiye'deki şirketlerin yanılma oranları Batı'dakileri sık sık ve açık ara geri bırakıyor. "Memleketimizdeki seçimlerde anket firmalarının çok büyük yanılgılarını gördük. Örneğin 2017 referandumunda, 2015 Kasım’ında, 1995 yerel seçimlerinde ve 2002’de Adalet ve Kalkınma Partisi'nin ilk kazandığı seçimde" diyor Moral.

Moral, hata payının yalnızca olasılıklı örneklem ile hesaplanabildiğini hatırlatıyor. Türkiye’de ise "kolaylıklı" diye nitelenen kota örneklemlerinin yaygın olduğunu ifade ederek şöyle diyor:

• Bu tür konularda uzun yıllar çalışan insanlar, her seçim öncesi "Yapmayın, etmeyin. Kolaylıklı örneklemle hata payı hesaplanmaz" diye kendilerini paralar. Biz ise çalışmamızda (yukarıda bahsedilen makale) 2011'den beri bütün seçimleri inceledik. Doğru dürüst hata payını hesaplayanları göremedik. Hata payı şu demek: Siz 60 milyonu temsilen 1.000-2.000 kişilik bir örneklem çekiyorsunuz. Olasılıklı örneklemle çekmediğinizde bu olasılığı hesaplayamadığınız gibi raporladığınız tüm hata payları yanlış ya da yalan oluyor.

Daha eski şirketler daha güvenilir olabilir ama onlar da şeffaf değil

Türkiye'nin kamuoyu araştırmaları sektöründe bu alanda bir özdenetim yapılmaması eleştirilirken bir yandan da seçim anketlerini genelde siyasi partilerin ısmarladığına dikkat çekiliyor.

Moral de CNN International'ın 'Şeffaflık Endeksi'ne dikkat çekerek buradaki ölçütleri şöyle değerlendiriyor:

• "Biri diğerinden daha önemlidir" diyememekle birlikte metodolojik kriterlere riayet etmek, yaptığınız saha araştırmasının daha isabetli olmasını sağlayacaktır. Şeffaflık ise bunu niye yaptığınızı anlatacaktır. Sponsorunu açıklamak çok önemli bir şeffaflık kriteridir. Çünkü bunlar çok maliyetli işlerdir. Doğru dürüst bir araştırma yaptığınızda bugünün parasıyla maliyeti birkaç 100 bin liraya eşdeğerdir. Bu araştırmanın parasının kimin tarafından verildiğinin açıklanması gerekir.
• Bazı şirketler öz kaynaklarıyla finanse ettiğini söylüyor. Hangi şirket haftada bir veya iki haftada bir anket yapıp da birkaç 100 bin liralık öz kaynaklarıyla finanse edecek ve bunun karşılığında gelir elde etmeden ayakta durabilecek? Bırakın anket firmalarını, herhangi bir şirket bile bunu finanse edemez. Sponsorun açıklanması önemli; çünkü anket sonuçları eğer yanlı ise bunun hangi yöne yanlı olduğunu görebilelim.
• Bu anket firmalarının bir kısmı sadece seçimde ortaya çıkıyor, öbür seçim bakıyorsunuz yoklar. Bir kısmı 90’ların sonlarında, 2000’lerin başında, 2010’larda kurulmuş şirketlerdir. Bunların diğerlerine nazaran daha güvenilir oldukları varsayımını yapmak yanlış değil fakat bunlar diğerleri kadar şeffaf mı diye bakarsanız, en az diğerleri kadar şeffaf değiller.

“Gazeteciler anket haberlerine dipnot koymalı”

Anketlerin haberleştirilmesi sürecinde dikkat edilmesi gereken bir başka unsura Moral, şöyle dikkat çekiyor:

• Diken.com.tr, yaptığı bir haberde editör notu bırakmıştı. O notta diyor ki, "Amerikan kamuoyu araştırmalarının şeffaflık kriterlerine göre bu anketi okuduk. Hiçbir açıklanması elzem olduğu belirtilen bilgi bu ankette yayımlanmamıştır." Nihai amacı toplumu bilgilendirmek olan gazeteciler eğer bu notu her anketin altına yazarsa, bir zaman sonra anket şirketleri o bilgileri paylaşmak zorunda hissedecektir. Bunu paylaşmayan, kötü pratik yapan şirketler yavaş yavaş piyasadan silinecektir. İyi firmalar kalacaktır, o firmalardan daha iyi araştırmalar çıkacaktır.

Prof. Dr. Süleyman İrvan: Hangisi gerçek hangisi sahte, belli değil

Anket sonuçları bugünlerde haberlere sık sık araştırma şirketinin basın bülteni nasıl yazılmışsa o şekilde, hatta bazen taraflı yorumları da içererek yansıyor. Nitelikli bir seçim haberciliği için kabul edilebilir bir durum değil bu. Çok sayıda anketi tek bir haberde derleyip yorumsuz sunan medya kuruluşları da var.

Üsküdar Üniversitesi İletişim Fakültesi Dekanı Prof. Dr. Süleyman İrvan, haberlere yansıyan anketler bağlamında bu seçimlerin, geçmişteki seçimlere göre manipülasyona daha açık olduğunu düşündüğünü söylüyor. Ona göre bunun iki nedeni var:

• Birincisi, adını ilk kez duyduğumuz birçok araştırma şirketi ile karşılaşıyoruz. Bu şirketlerin hangisi gerçek hangisi sahte, belli değil. Bazılarına sosyal medya üzerinden sorduğum sorulara cevap alamadım. Kaynağı belli olmayan haberler nasıl sorunluysa sahibi bilinmeyen şirketlerin yaptığını varsaydığımız araştırmalar da sorunludur.  Aslında kamuoyu araştırmalarının paylaşılması aşamasında hangi bilgilerin verilmesi gerektiği biliniyor. Bu konuda bir sivil toplum kuruluşu niteliğindeki Türkiye Araştırmacılar Derneği (TÜAD) mutlaka devreye girmeli. 1 Mart 2023 tarihinden bu yana benim tespit edebildiğim kadarıyla en az 29 farklı araştırma şirketi tarafından paylaşılan 57 araştırma sonucuna denk geldim. Çoğu sorunlu olan bu araştırmalarla ilgili olarak TÜAD’dan tek bir açıklama duymadım. Peki bu dernek bugün açıklama ve uyarı yapmayacaksa ne zaman yapacak?
• İkinci neden, bazı bilinen araştırma şirketi sahiplerinin sosyal medya paylaşımlarında adeta birer parti görevlisi gibi davranmalarıdır. Bırakınız gerçek anlamda tarafsız davranmaya çalışmayı, öyle bir görüntü verme gereği bile duymamakta, açıktan destekledikleri partiyi deklare etmektedirler. Partizan gazetecilik nasıl sorunlu bir pratikse, partizan anketçilik de sorunludur. Türkiye’de maalesef bu ikisi de bol miktarda mevcuttur.

"Anketi haberleştirirken bu bilgilerin verilip verilmediğine bakılmalı"

İrvan da araştırma şirketinin sahiplik yapısının ve ilgili anketin nasıl finanse edildiğinin kamuoyuna açıklanması gerektiğini ifade ediyor. "Maalesef açıklanan araştırmalarda gördüğüm en önemli sorunlardan biri budur. 2023 seçimlerine yönelik anketlerin hiçbirinin finansmanı açıklanmamıştır" diyen İrvan'a göre örneklem seçimi, saha araştırma tarihi, yöntemi, sorular soruların nasıl ifade edildiği, hata payı, kararsız dağılımı vb. bilgilerin verilmesi de bilimsel değerlendirme için elzem.

“Anketlerin haberleştirilmesi aşamasında bütün bu bilgilerin verilip verilmediğine bakılmalı” diyen İrvan'ın gazetecilere tavsiyesi şöyle:

• Özellikle kaynağı belirsiz, yapılıp yapılmadığı bile belli olmayan araştırmalar yeterli teyit süreçleri gerçekleştirilmeden haberleştirilmemeli. Örneğin nasıl kuşkulu bir haber paylaşılmadan önce teyit edilmeye, doğrulatılmaya muhtaçsa, kuşkulu bir araştırma da teyit edilmeden haber hâline getirilmemeli. Bir muhabir ya da editör, haberleştirme aşamasında anket şirketine ulaşmaya çalışmalı, sosyal medyada paylaşılan sınırlı verilerle yetinmemeli.
• Bu noktada diken.com.tr’nin uygulamasını örnek göstermek isterim. Diken, her araştırma haberinin sonunda bir editör notu paylaşmakta ve eksik olan bilgileri açıklamaktadır. Bu uygulama bir adım daha ileriye götürülmeli, araştırma şirketiyle temas kurulmalı ve eksik olan bilgiler talep edilmelidir. Bilgi vermeyen araştırma şirketleri de ifşa edilmelidir.

Konda ve GENAR başta olmak üzere bazı araştırma şirketleri, bugün itibarıyla cumhurbaşkanlığı seçimi 1. turu için anket sonucu yayımlamadı. Bu şirketler muhtemel 2. tur için sadece Erdoğan ve Kılıçdaroğlu'nun sorulduğu anketler yayımladı. Bu yüzden üstteki tablolarda yer almıyorlar.

CNN International'ın Şeffaflık Endeksi ölçütlerini belirleyen sorular şöyle:

1. Anketi hangi anket firması gerçekleştirdi?
2. Katılımcılarla nasıl görüşüldü? (Telefonla canlı görüşme, telefonla otomatik görüşme, çevrimiçi, katılımcının kendi kendine doldurduğu anket veya başka bir yöntem)
3. Anketin maliyetini kim karşıladı ve anket neden yapıldı?
4. Bu anket için kaç kişiyle görüşüldü?
5. Katılımcılarla hangi dil(ler)de görüşüldü?
6. Anketteki tüm soruların tam metnini ve saha araştırmacılarına verilen talimatları yazın.
7. Anketiniz ne zaman yapıldı?
8. Bu anket için örneklemenizin kaynağı nedir ve katılımcılar hangi yöntemle seçildi? Lütfen mümkün olduğunca spesifik olun ve anket web panel(ler)i aracılığıyla yapıldıysa panelistlerin nasıl belirlendiğini de açıklayın. Eğer çalışmanız çevrimiçi olarak yapıldıysa ve yönlendiriciler yardımıyla erişilen katılımcıları içeriyorsa, katılımcıların yaklaşık yüzde kaçı ankete yönlendirildi?
9. Örneklemeye veya görüşmelere herhangi bir kota uygulanmışsa hangi aşamada uygulandı, hangi değişkenler ve hedefler kullanıldı, hedef kota tahmininizin kaynağı ne?
10. Araştırmaya çalıştığınız insanlar evreni nedir ve örneklemenizin kaynağının bu evreni temsil ettiğinden nasıl emin oldunuz?
11. Anketler telefonla yapıldıysa, görüşmelerin yüzde kaçı cep telefonlarına yapılan aramalarla gerçekleştirildi? Anketler çevrimiçi yapıldıysa, katılımcıların mobil tarayıcılar üzerinden anketi tamamlamalarına izin verildi mi ve katılımcılarınızın yaklaşık olarak ne kadarı bunu yaptı?
12. Anketler telefonla yapıldıysa, örneklenen bir numarayı aramaktan vazgeçmeden önce kaç kez geri arandılar?
13. Anketler canlı bir görüşmeci tarafından yapılmadıysa, yanıtlayıcıların gerçek insanlar olduğundan ve ankete dikkat ettiğinden emin olmak için ne yaptınız?
14. Anketin hata payını nasıl hesapladınız? Neden bu anket için bu hata tahmin yöntemini seçtiniz? Örnekleme hata payı bildiriyorsanız, bunu araştırma tasarımının etkilerine göre düzelttiniz mi?
15. Anketiniz ağırlıklandırıldıysa, lütfen ağırlıklandırma değişkenlerini ve ağırlıklandırma parametrelerinin kaynağını listeleyin. Eğer anketiniz eğitim için ayarlanmamışsa, lütfen nedenini açıklayın ve yanıtlayıcılarınız arasında eğitim dağılımı için ağırlıksız bir frekans sağlayın.
16. Herhangi bir alt küme tahminini yayımlamadan önce gereken minimum ağırlıksız örneklem büyüklüğü var mı ? Varsa, nedir?

Güncelleme, 11 Mayıs 2023: Konda'nın son seçim anketi bugün haberlere yansıdı. Türkiye Raporu da son seçim anketini bugün aboneleriyle paylaştı.

14 Mayıs seçimlerine dair abonelerimize yolladığımız bilgi notu: https://t.co/VyIJlFtKjo pic.twitter.com/MQ6fVQ4kDg

— Konda Araştırma (@kondaarastirma) May 11, 2023

İLGİLİ:

Anket haberleri: 2 ayda yayımlanan 117 haberin hiçbiri eksiksiz değil

Haber siteleri Komsar’ın sahte yerel seçim anketiyle trollendi

Anket şirketleri seçim seçim nasıl yanıldı

İki araştırma yayımlandı, biri çok kötü haberleştirildi

‘Anketler yalan söylüyor’ diyen Trump, taraftarlarına yeni TV kanalları önerdi