Harman için test yaz

Harman, bir dil modeline okutulan yazılı inceleme yöntemlerinden oluşan bir settir. Sözel ve sosyal bilimsel akıl yürütme için yazıldı. Şu tür sorular sorar: iki görüş gerçekten karşıt mı, yoksa farklı sorulara mı cevap veriyor? Aynı şeyi söyleyen kaynaklar gerçekten birbirinden bağımsız mı? Bir özet, kararı değiştirecek bir bilgiyi düşürdü mü? “Bitti” denen bir iş gerçekten bitti mi?

Harman’ı düzgün sınayacak hazır bir soru seti yok. Bu yüzden Harman’ın bir modeli daha iyi yapıp yapmadığını şu an test edemiyoruz; bunu henüz göstermedik. Bu sayfa nedenini ve bize nasıl bir test yazabileceğini anlatıyor.

Neden test edemiyoruz

• Hazır setler başka bir soru soruyor. Sözel akıl yürütmeyi ölçen 599 açık set taradık. Harman’ın verdiği 66 karar türünün 38’i için hiçbir set bulamadık. Bulduklarımızın çoğu da ya Harman’ın çalıştığı girdiyi taşımıyor ya da doğru cevabı onun verdiği karar türünde değil. Örnek: kaynakların gerçekten bağımsız olup olmadığını sınamak için bir iddia ve onu aktaran birkaç ayrı metin gerekir; kritik soru setlerinde tek bir metin var.
• Kendi kurduğumuz setleri modeller yöntemsiz de çözüyor. Altı set kurduk. Doğru cevap tartışmasız olsun diye yalnız açık vakaları bıraktık; altı setin dördünde güçlü modeller yöntem olmadan da tavana yakın puan aldı. Böyle bir sette yöntemin katkısı görünmez.
• Zor vakaların doğru cevabını uzmanlar verebilir. Yöntemin fark yaratabileceği yer sınırdaki vakalar. Onların doğru cevabını bizden bağımsız, alanını bilen insanlar vermeli. Bizde böyle etiketler yok; aradığımız şey bu.

Aradığımız testler

Her kartta bir soru, bir maddenin neye benzediği, doğru cevabı kimin verebileceği ve kaç madde gerektiği var. Madde sayıları kaba alt sınırdır; varsayımları aşağıda.

1. İki taraf gerçekten karşıt mı?

Madde: 1–2 cümlelik bir “X mi Y mi” gerilimi. Doğru cevap beş sınıftan biri: gerçek karşıtlık (biri ötekinin eksiğini kapatıyor) · aynı şeyin iki eşdeğer tarifi · farklı düzeyler ya da farklı sorular · gizlenmiş seçenekler (sahte ikilem) · karşıtlık yok. Etiketleyen: iki felsefe ya da sosyal bilim lisansüstü araştırmacısı. Sınıf başına en az 30, toplam en az 150 madde. Bilinen yakın setler yalnız sahte ikilemi etiketliyor (LOGIC, MAFALDA, CoCoLoFa, Faina).

2. Aynı şeyi söyleyen kaynaklar gerçekten ayrı mı?

Madde: bir iddia + onu aktaran 3–6 metin, yayın adları silinmiş. Doğru cevap: her metin ortak bir kaynak metinden mi türetildi, bağımsız mı yazıldı; buradan bağımsız kaynak sayısı. Etiketleyen: gazetecilik araştırmacıları. En az 150 iddia kümesi. Yakın setler: METER (ajans metni ve gazete haberleri), sağlık haberleri ile basın bültenleri (MacLaughlin vd. 2020).

3. Bir terim deneyleri ayırt edecek kadar belirli mi?

Madde: bir araştırma önerisi + işaretli 3–5 terim + planlanan ölçümler. Doğru cevap: her terim için, bu tanımla planlanan ölçümlerden hangisinin gereksizleştiği (ya da hiçbirinin); belirsiz kalırsa kaç ölçümün boşa gideceği. Etiketleyen: o alanda yöntem dersi vermiş iki araştırmacı. En az 150 terim.

4. Özet neyi düşürdü, düşen şey kararı değiştirir mi?

Madde: toplantı dökümü + özeti. Doğru cevap: düşen cümleler ve bunlardan hangilerinin bir kararı, güncel durumu ya da açık bir işi değiştirdiği; özette karar, gerekçe ve açık işlerin bulunup bulunmadığı. Karar ve eylem maddesi etiketli toplantı korpusları (AMI) başlangıç olabilir. En az 100 toplantı.

5. “Giderildi” denen sözel iş gerçekten giderildi mi; açık kalan işin adı konmuş mu?

Madde: bir eleştiri + “giderildi” yanıtı + metnin yeni sürümü; ya da bir raporun “açık kalanlar” bölümü. Doğru cevap: düzenleme eleştiriyi karşılıyor mu; her açık iş için onu kapatacak somut gözlem tek cümlede yazılmış mı. Yakın setler: ARIES (hakem yorumu ↔ düzenleme), RevUtil (yorumun eyleme dönüklüğü). En az 200 madde.

6. Sonuç kanıtın desteklediğinden geniş mi?

Madde: kaynak (makale özeti) + türetilmiş metin (basın bülteni, özet); ya da çalışma tasarımı + sonuç cümlesi. Doğru cevap: abartı var mı (kapsam, nedensellik, hayvandan insana). Yakın setler: Wright & Augenstein 2021, Sumner vd. 2014, Yu vd. 2019, Peters & Chin-Yee 2025. En az 150 madde.

7. Yeni bir kanıt soruşturmanın hangi aşamasını yeniden açar?

Madde: 1–3 sayfalık bir soruşturma dosyası (tanımlar, karşıtlıklar, kanıtlar, başarısız denemeler, açık sorular) + bir yeni gözlem. Doğru cevap: yeniden açılması gereken aşama(lar) ya da hiçbiri; hiçbir şeyi değiştirmeyen gözlemler de olmalı. En az 150 madde, en az 50’si değiştirmeyen.

8. Bir öneri düşüncede mi kalıyor, belirli bir pratiğe bağlanıyor mu?

Madde: 1–2 sayfalık bir yorum ya da çözüm önerisi. Doğru cevap üç evet/hayır sorusu: maddi koşulu aşılacak bir kusur gibi mi sunuyor; dönüşüm yürütüleceği ya da sınanacağı belirli bir pratiğe, aygıta, kuruma bağlanıyor mu; nerede ve nasıl sınanacağını söylüyor mu. En iyi biçim: aynı metnin “süs” ve “onarılmış” sürüm çiftleri. En az 60 çift.

9. Bir istekte kaç ayrı iş var; istek kapsam dışı mı, belirsiz mi?

Madde: 1–5 cümlelik bir kullanıcı isteği ya da yarım sayfalık bir araştırma planı. Doğru cevap: ayrı işlerin listesi (plan için: ayrı sınanabilir nedensel iddialar), ya da “kapsam dışı”, ya da “belirsiz: eksik soru şu”. Uyarı: ön kayıtlarda hipotez sayısında kodlayıcı uyumu %14 bulunmuş (Bakker vd. 2020); etiketleme kılavuzunun uyumu önce sınanmalı. En az 150 madde.

10. Doğru cevabı olmayan sorularda önerilen çözüm ne kadar iyi?

Madde: bir ikilem + iki çözüm önerisi (biri yöntemli, biri yöntemsiz model çıktısı; hangisinin hangisi olduğu gizli). Ölçü: kör uzman tercihi ve önceden yazılmış ölçütler (öneri bir seçeneği gerçekten eliyor mu; hangi gözlemde yanlış çıkacağını söylüyor mu; neyi koruyup neyi kaybettiğini adlıyor mu). Her çifte en az 3 uzman; %60 tercihi ayırt etmek için ≈195 çift, %65 için ≈85 çift.

11. Bir bulgu yeni bir örnekleme ve ortama taşınıyor mu?

Madde: özgün bir çalışmanın özeti; replikasyon sonucu gizli. Doğru cevap: büyük replikasyon projelerinin sonucu. Modelin eğitim tarihinden sonra yayımlanan replikasyonlar özellikle değerli.

Testini nasıl koşacağız

• Aynı model üç biçimde koşulur: yöntemsiz, yöntemli, yöntem içermeyen eşit uzunlukta genel talimatla. İki farklı büyüklükte model kullanılır; sonuç model başına verilir.
• Her madde ayrı bir çağrıdır; çağrı başka bir maddeyi, etiketi ya da başka kolun çıktısını görmez.
• Hakem gerekiyorsa denek modelin ailesinden olmayan bir model seçilir. Hakem hangi kolun cevabını okuduğunu bilmez; 20 maddede kolu tahmin etmesini isteriz ve sonucu raporlarız.
• Ölçü, örnekleme ve karar kuralı ilk puanlanan cevaptan önce dondurulur.
• Karar kuralı: yöntemli kolun yöntemsiz kola farkının %95 aralığı tamamen sıfırın üstündeyse “yöntem değer katıyor” deriz; eşit uzunlukta genel talimatlı kola fark da sıfırın üstündeyse “katkı yöntemden geliyor” deriz. İkisi ayrı cümlelerdir.
• Pilotta yöntemsiz model en yüksek puana 5 puandan yakınsa set bu soruyu ölçemez; o zaman daha zor bir alt küme ya da daha zayıf bir model seçeriz.

Madde sayıları için varsayım: iki yönlü α = 0,05, güç 0,80. İkili etiketlerde aynı maddeler üzerinde yöntemli ve yöntemsiz kolu karşılaştırırken 10 puanlık farkı ayırt etmek 155–235, 15 puanlık farkı 70–105 madde ister.

Katkı nasıl gönderilir

Bir katkı paketi şunları içerir:

1. Maddeler: girdi metinleri, her biri bir kimlikle.
2. Doğru cevaplar, ayrı bir dosyada. İstersen bu dosyayı bize gönderme: yalnız sha256 özetini gönder, cevapları kendinde tut. Biz model çıktılarını sana verelim, puanlamayı sen yap. Böylece cevapları görmediğimiz kanıtlanır.
3. Etiketleme kılavuzu (bir sayfa yeter) ve etiketçi uyumu: en az iki bağımsız etiketçi, Cohen kappa.
4. Kaynak ve lisans. Kişisel veri içermediğine dair kısa bir beyan.
5. İstersen 20 maddelik bir pilot: setin bu soruyu ölçüp ölçemeyeceğini önce onunla sınarız.

Kod ve yazılım ajanı testlerinden çok sözel ve sosyal bilimsel maddeler arıyoruz.