Akran denetimi

Akran denetimi ya da hakem denetimi, bir yazarın akademik çalışmasını aynı alanda uzman olan kişilerin incelemesine sunma sürecidir. Akran denetimi olabilmesi için belli bir alanda ki bu çoğu zaman dar bir alandır, tarafsız denetim yapabilecek bir uzmanlar topluluğunun varlığı gerekir. Eğer konu yeterince dar bir sahaya ait değilse veya sahalar arası (interdisipliner) ise, denetimin tarafsızlığını sağlamak zor olabilir. Ayrıca bir fikrin önemi (olumlu veya olumsuz yönleriyle) her zaman takdir edilemeyebilir. Akademik kalite için vazgeçilmez sayılsa da, akran denetimi, etkisiz ve yavaş olabilmesi nedeniyle eleştirilmiştir.

Akran denetimi genelde bir dergide yayınlanmak üzere sunulmuş bir makale veya belli bir araştırmanın projesi için yapılmış bir fon başvurusunda kullanılır. Bu süreç, yazarları kendi disiplinlerinde kabul görmüş standartlara uymaya teşvik eder, böylece konuyla ilgisiz bulgular, desteksiz iddialar, kabul edilemeyecek çıkarımlar ve kişisel görüşlerin yayımlanmasının önüne geçilir. Akran denetimi ile düşünce hırsızlığı, aşırı derecede türetme çalışma (derivative work) ve bilinen yöntemlerin barız uygulamaları yakalanmaya çalışılır. Genelde akran denetiminden geçmemiş yayınlar uzmanlar ve profesyoneller tarafından şüpheyle karşılanır.

Bu maddede "akran denetimi" İngilizce "peer review" terimine karşılık olarak kullanılmıştır. "Akran", yaş, meslek, toplumsal durum gibi bir kıstas bakımdan birbirine eşit olan kişilerin her biridir, buradaki bağlamda, uzmanlık derecesi olarak çalışmayı yapan kişiye denk kişi demektir.^[1] Denetlemek, bir işin doğru ve usulüne uygun olarak yapılıp yapılmadığını incelemektir.^[2] Akran denetimi kullanan dergilere hakemli dergi de denir. "Hakem"in kastedilen anlamı, bir anlaşmazlığı çözüp son kararı veren kişi değil, "belirli bir konudan iyi anlayan kimse"dir.^[3] Çünkü burada söz konusu olan işlev görüş belirtmektir, yayımlama kararı dergi editörüne aittir.

Karmaşık bir çalışma yapmış olan yazar veya araştırmacılar, bu çalışmayı ister tek başına ister grup olarak oluşturmuş olsunlar, çalışmadaki her kusur veya hatayı yakalayamayabilirler. Bunun nedeni mutlaka çalışmayı yapanlarla ilgili olmak zorunda değildir; çalışmanın daha iyileşebilmesi için bazen özel uzmanlığı olan veya sadece taze bir bakış açısına sahip bir kişi gerekebilir. Dolayısıyla çalışmayı bir başkasına göstermek onun bir zayıflığının ortaya çıkarılma ve onun iyileştirilme olasılığını artırır. Hem araştırma fonu elde edilmesi hem de akademik bir dergide yayım için konunun yenilikçi ve özlü olması normalde aranan şartlardandır.

Ayrıca, bir akademik makalenin yayımlanması veya yayımlanmadan önce değiştirilmesi konusunda alınacak kararlar, makalenin sunulmuş olduğu derginin editörüne kalmıştır. Benzer olarak, bir araştırma proje önerisinin desteklenmesi kararı, finansmanı yapacak kuruluşun yetkilisine kalmıştır. Bu kişiler çoğu zaman kararlarını verirken bir veya daha çok denetmenin görüşlerine başvururlar. Bunun başlıca üç nedeni vardır:

• İş yükü. Çoğu derginin editör veya değerlendirmeci grubu, o dergiye sunulan pek çok makaleye yeterli zaman ayıramaz.
• Fikir farklılığı. Eğer derginin editör veya değerlendirmecileri sunulan tüm malzemeyi kendileri değerlendirseler, onay gören yazılar sadece onların görüşlerini yansıtır.
• Sınırlı uzmanlık. Bir editör veya değerlendirmeci bir derginin (veya finansman kuruluşunun) kapsamına giren her konuda uzman olması beklenemez

Bu yüzden yeni makalelerin veya fon taleplerinin yorum için dış denetmenlere yollanması normaldir.

Denetmenler tipik olarak anonim ve bağımsızdır, eleştirilerinde açık olabilmeleri sağlamak ve yayımlama ve fon verme kararlarında kayırma sokmamak için. Anonimlik tek taraflı veya çift taraflı olabilir. Çift taraflı anonimlikte hem denetmenin kimliği çalışmanın yazarlarından gizli tutulur, hem de denetmene gönderilen metinden yazarların isimleri ve onları kimlikleri hakkında fikir verecek bilgiler çıkarılır. Sadece tek taraflı anonimlik durumunda bilimsel değerlendirmenin daha taraflı olabileceğine dair görüşler vardır.

Denetmenler makalede söz konusu olan sahanın uzmanları arasında seçildikleri için, literatürde güvenilir bir araştırma ve bilgi birikiminin oluşmasında akran denetimi süreci çok önemli bir rol oynar. Yayımlanmış makaleleri okuyan araştırmacılar ancak belli bir sahada uzman olabilir; bu okurlar yayımlanmış buluşlarla ilgili veya onlara dayalı yeni araştırmalar planlarken, kullandıkları kaynakların güvenilir ve inanılır olması konusunda kısmen de olsa akran denetimine güvenirler. Bu yüzden, bazen bir makaledeki bulguların tahrif edildiği ortaya çıktığı zamanlar büyük skandal olur çünkü pek çok başka araştırmacı, hatta o sahanın tamamı, özgün yayının doğruluğuna güvenmiş olabilir.

Yayımlanma başvurusu durumunda, bir editör yazarın çalışması veya fikirleri içeren metni konunun uzmanlarına ("denetmen" veya "hakem" olarak bilinir) gönderir. Günümüzde bazı dergiler makaleyi e-posta veya Web-tabanlı bir makale işlem sistemi aracılığıyla denetmenlere ulaştırırlar. Bir makale için genelde iki veya üç denetmen olur.

Bu denetmenlerin her biri çalışma hakkındaki değerlendirmelerini editöre geri yollarlar. Raporlarında makalenin zayıf nokta ve sorunlarını belirtip, onun iyileşmesi için önerilerini de eklerler. Tüm bilimsel dergiler bu konvansiyonu izler. Editör, makalenin sahası konusunda denetmenler kadar uzman değilse de aşinadır ve denetmenlerin yorumlarını değerlendirir. Sonra editör kendi görüşlerini ve derginin alanına uygunluğunu da göz önüne alarak kararını yazar(lar)a iletir, genelde denetmenlerin yorumlarını da ekleyerek.

Denetmenlerin değerlendirmeleri çoğu zaman makale veya başvuru konusunda ne yapılması gerektiği hakkında açık bir tavsiye içerir, bu tavsiyeler genelde dergi veya finansman kurumu tarafından sunulmuş seçeneklerden biridir. Öneriler genelde aşağıdakiler gibidir:

• Koşulsuz olarak makale veya başvurunun kabulü,
• Yazarların bazı değişiklikleri yapması koşuluyla kabulü,
• Reddedilmesi ama değişiklik yapıldıktan sonra tekrar başvuruya teşvik edilmesi,
• Kesin reddedilmesi.

Bu süreç sırasında denetmenler danışman rolündedir, editör denetmenlerin görüşlerini kabul etmek zorunda değildir. Ayrıca, bilimsel yayımlarda, denetmenler bir grup olarak çalışmaz, birbirleriyle haberleşmezler ve tipik olarak birbirlerinin kimliklerini veya değerlendirmelerinden habersizdir. Genelde denetmenlerin konsensusa ulaşma zorunluluğu yoktur. Dolayısıyla jürilerdeki gibi bir grup dinamiği söz konusu değildir.

Denetmenlerin bir çalışmanın kalitesi konusunda uyuşmamaları halinde karar ulaşmak için izlenen birkaç strateji vardır. Eğer editör bir eser hakkında hem çok olumlu hem de çok olumsuz birer görüş alırsa, çoğu zaman beraberliği bozmak için bir veya birkaç denetmenden daha görüş ister. Bir diğer çözüm olarak, editör yazarlara eleştirileri yollayıp beraberliği bozabilecek iyi bir savunma isteyebilir. Eğer editör savunmanın inandırıcılığını değerlendiremeyeceğini düşünürse, ilk eleştiriyi yapan denetmenden bir yanıt da talep edebilir. Ender durumlarda, editör bir denetmen ile yazarlar arasındaki haberleşmeleri iletmeye devam ederek belli bir noktanın tartışılmasını sağlayabilir. Böyle durumlarda dahi editör denetmenlerin birbirleriyle görüşmelerine izin vermez, ama itirazcı denetmenin diğer denetmenlerin değerlendirmelerini görebildiği olur. Bu sürecin amacı bir konsensusa ulaşmak veya herhangi birisinin fikrini değiştirmesini sağlamak değildir, bu açıkça baştan belirtilir. Ancak açık erişim modelini izleyen bazı dergiler (Biology Direct gibi), İnternet'te her makalenin yayım öncesi tarihçesini koymaya başlamışlardır, öyle ki her yayımlanan makale için makalenin ilk sunulan hâli, denetmen raporları, yazarların cevapları ve metnin düzenlenmiş hâlini görmek mümkündür.

Geleneksel olarak denetmenler yazarlar için anonim kalırlardı ama bu standart yavaş yavaş değişmektedir. Bazı akademik sahalarda çoğu dergi denetmene anonim kalıp kalmama seçeneğini verir veya bir denetmen isterse değerlendirmesini imzalayarak anonimliğinden vazgeçebilir. Yayımlanmış makalelerde bazen, Katkı bölümünde, makalenin iyileşmesini sağlamış olan anonim veya adı belirtilen denetmenlere bir teşekkür bulunabilir.

Bazı üniversite yayınevleri kitaplar için akran denetlemesi uygularlar. İki veya üç bağımsız denetmenin olumlu değerlendirmesinin ardından kitabın taslağı, en son onay için öğretim üyelerinden oluşan yayınevinin danışma kuruluna yollanır.^[4] Bir üniversite yayınevinin Amerikan Üniversite Yayınevleri Derneği üye olabilmesi için bu denetim sürecine göre çalışması zorunludur.^[5]

Bazı sahalarda akran denetimli toplantılar (örneğin konferans ve çalıştaylar) vardır. Konuşma verebilmek için akademisyenler önceden konuşmalarının bir özetini (genelde kısa, 15 sayfadan az) sunarlar. Bu metinler bir "program komitesi" (yayım kurulunun dengi) tarafından değerlendirilir ve komite genelde denetmenlerden görüş ister. Konferansların tarihi önceden belirli olduğu için genelde mühlet kısadır, seçenekler kabul ve redden ibaret olmak zorundadır.

Bir dergi veya kitap yayınevinde, denetmen seçimi tipik olarak editöre düşen bir görevdir.^[6] Bir makale geldiğinde, editör uzmanlardan onun hakkında bir değerlendirme talep eder; bu uzmanlar önceden bu konuda istekli olduklarını belirtmiş olabilir. Fon veren kurumlar ise genelde başvuruların gelmesinden önce bir denetmenler paneli veya komitesi oluştururlar.

Tipik olarak denetmenler yazarların yakın meslektaşları, öğrencileri veya arkadaşları arasından seçilmez. Bir çıkar çatışması olabilecekse denetmenlerin bunu editöre bildirmeleri gerekmektedir. Dergiler genelde makale yazarından makaleyi denetlemeye ehil kişilerin isimlerini vermelerini isterler. Bazı dergilerde bu, makale sunmanın bir şartıdır. Yazarlar bazen sundukları makalenin kimin tarafından denetlenmesini istemediklerini de belirtme hakkına sahiptir; bu durumda gerekçe göstermeleri gerekir (bu tipik olarak çıkar çatışması şeklinde ifade edilir). Bazı sahalarda derginin Katkı (Teşekkür) bölümünde çalışmaya katkıları belirtilen (ama yazar olmayan) kişiler de denetmen olarak görev alamaz.

Editörlerin denetmen seçimi için yazarlardan görüş almalarının nedeni, akademik yazımın çok uzmanlaşmış olmasıdır. Editörler genelde birçok uzmanlık sahasına bakarlar ve hepsinin uzmanı olmayabilirler, çünkü editörler zamanlarının tamamını bu işe adamış olup bilim yapmıyor olabilirler. Ama editör, bir aday havuzundan denetmenleri seçtikten sonra onların kimliğini yazarlara bildirmek zorunda değildir. Bilimsel dergilerde denetmenlere birbirlerinin kimliği bildirilmez. Bu konudaki politikalar akademik sahaya göre fark eder.

Denetmenlerin göreve alınması siyasi bir sanat sayılabilir çünkü denetmenler ve çoğu zaman editörler de, ücretsiz çalışırlar; denetmenlik yapmak, denetmenin asıl faaliyetlerinden, örneğin kendi araştırmasından, zaman eksiltir. Ancak, çoğu potansiyel denetmenin kendisi de yayım yaptığı veya en azından bilimsel dergileri okuduğu için yayımcılık sisteminin iyi çalışması için denetmenlere gerek olduğunu bilir. Denetmenler ayrıca kendi sahalarının standartlarına uymayan çalışmalarının yayımını engelleme fırsatına sahiptir, bu bakımdan yaptıklarının sorumluluklu bir iş olduğunu bilirler. Eğer bir araştırmacı bir makalesini bir dergide yeni yayımlanmışsa veya yakın gelecekte o dergiye bir makale sunmayı planlıyorlarsa, bu durum editöre o araştırmacıdan denetmen olmasını istediği zaman bir avantaj verebilir. Keza, fon veren kurumlar, halen veya geçmişte kendilerinden fon almış kişiler arasından kendilerine denetmen ararlar. Bir araştırma fonu almanın veya mesleki kuruma üye olmanın şartlarından biri denetmen olarak görev almak olabilir.

Akran denetim organizasyonu yapanların karşılaştığı bir diğer sorun da, bazı makale veya fon başvurularında, uzman sayılabilecek kişilerin çok az sayıda olmasıdır. Gerçek uzmanlar bu sahada çalışmış olan ve metindeki incelikleri yakalayabilecek kişilerdir. Bu durumda denetmen anonimliği ve çıkar çelişkisinden kaçınma amaçları sağlanamayabilir veya gerçek uzmanların bulunamama olasılığı artar. Düşük prestijli dergiler ve az para veren finansman kurumları gerek duydukları uzmanları göreve almakta özellikle yetersiz kalabilmektedir.

Anonimlik denetmen bulmayı daha da zorlaştıran bir unsurdur. Bilimsel topluluklarda meslekî atıflar ve şöhret önemlidir; prestijli bir dergi için denetmenlik yapmak onur kaynağı olsa da, anonimlik kısıtlaması, kişinin belli bir makalenin denetmenliğini yaptığını ilan etmesine izin vermez. Buna karşın meslekî atıflanma ve şöhrete yayım yaparak ulaşılır, denetmenlik yaparak değil.

Akran denetimi bir makale matbaaya gitmesiyle son bulmayabilir. Jurnal kulüpleri o sahada çalışan kişiler makaleleri değerlendirip onun anlam ve önemini tartışırlar. Jurnal kulüpleri çoğu zaman dergi editörlerine mektup veya e-posta göndererek yayımlanmış makaleleri değerlendirip eleştirebilirler.

Akran denetimi kullanılan uzmanlık seviyesi bakımından sıkı olup, fazla zorlayıcı olmayabilir. Araştırma fonu verecek bir kuruluşun çok fazla parası olabilir veya bir derginin seçebileceği kaliteli makale adayları sınırlı olabilir, böyle durumlarda ince eleme yapmaya gerek yoktur. Tersine, fonlar veya dergi sayfaları sınırlı ise, akran denetimi çok az sayıda başvuru veya makalenin seçilebilmesini sağlayabilir. Dergilerin kabul oranları çok farklı olabilir: Nature genelde kendisine sunulan yazıların %5'ini yayımlar, buna karşın Astrophysical Journal %70'ini yayımlar.

Çoğu zaman neyin "yeterli" olduğuna karar vermek editöre veya denetim organizatörüne kalır. Başka durumlarda ise uygulanacak sıkılık konusunda denetmenlere genel yönergeler verilerek her birinden bu konuda görüş istenir.

Science ve Nature gibi genel içerikli dergilerin yayım standartları son derece sıkıdır ve bunlar makaleleri yüksek kaliteli olmalarına rağmen reddedebilirler, eğer editör söz konusu çalışmanın çok önemli bir buluş olmadığına kanaat getirirse. Bu tip dergilerin iki aşamalı bir denetim sistemi vardır. İlk aşamada yayım kurulu üyeleri makaledeki buluşların -eğer doğru oldukları sonradan gösterilebilirse- Science veya Nature'da yayımlanmayı hakkedecek kadar önemli olup olmadığına karar verirler. Çoğu makale bu aşamada reddedilir. Bu 'ön denetleme'den geçen makaleler sonra daha ayrıntılı değerlendirme için dergi dışı denetmenlere yollanır. Tüm denetmenler yayımlanmayı önerdikten sonra ve yazarlar tüm eleştiri ve değişik önerilerine uysa dahi, makaleler derginin uzunluk sınırlamaları nedeniyle kısaltılmaları için geri yollanabilir. Elektronik yayımcılık sayesinde artık dergi sayfalarına sığmayan malzemeler derginin web sitesinde Elektronik Destek Bilgi arşivine yerleştirilmektedir.

Kimya gibi genel sahalarda yayım yapan dergilerde de benzeri bir yenilikçilik arayışı vardır. Örneğin Journal of the American Chemical Society (Amerikan Kimya Derneği Dergisi) gelen tüm makaleleri denetime yollar, denetmenler makalenin bilimsel kalitesinin yanı sıra derginin genel okuyucu kitlesine mi yoksa daha özelleşmiş bir alt grubuna mı uygun olduğu konusunda değerlendirmeleri istenir. İkinci durumda, daha uzmanlaşmış bir dergide yayımlanma önerilir. Editör yazarlara makale metni ve denetim raporlarını doğrudan bu tip bir dergiye (örneğin Journal of Organic Chemistry - Organik Kimya Dergisi) iletmeyi önerir. Eğer denetmen raporu böylesi bir kararı destekliyorsa ikinci dergi tekrar bir denetim yapmadan makaleyi kabul edebilir.

Akranlar tarafından makalelerin elenmesi bazı sahalarda "bırakınız yapsınlar" (laissez faire) bir felsefe ile değerlendirilir. Fizikte, örneğin, bir derginin kalitesinin okuyucu kitlesi tarafından belirlenmesi gerektiği görüşü hakimdir. Böylesi bir kültürde dahi akran denetimi yayımlanacak malzemenin yüksek standartlara sahip olmasının sağlar. Bariz hatalar yakalanır, yazarlar okurlarından düzeltme ve öneriler alırlar.

Akran denetim sürecinin bütünlüğünü korumak için, başvuru yapan yazarlar makalelerinin kim tarafından denetlendiğini bilmemeleri gerekir; bazen makaleden sorumlu olan editör yardımcısının kimliği dahi onlardan gizlenebilir. Bazı dergilerde, yazarların kimliği de denetmenden gizlenir, bunun amacı yazarların kimliğinin denetmende önyargı oluşturmasını engellemektir. Böyle durumlarda bir tek yardımcı editör yazarların kim olduğunu bilir. Yazar ve denetmenin kimliklerinin gizli tutulduğu denetime "çift maskeli" veya "çift kör" denetim (İng: double blind peer review) denir, sadece denetmenin kimliğinin gizli olduğu sürece değinmek için "tek maskeli" denetim terimi kullanılır. İki maskeli denetimde makalede yazarların kimliğini belli edecek her türlü bilginin denetimden evvelden çıkartılması gerekir. Denetmenlerin anonimliği neredeyse evrensel olmakla beraber, çift maskeli denetimler hâlen nispeten enderdir.

Çift maskeli denetimin eleştirmenleri, anonimliği sağlamak için kullanılan ek önlemlere rağmen, bunun tamamen sağlanamadığı, bazı yaklaşım, yöntem, yazı tarzı, simge seçimlerinin belli araştırma gruplarına ve hatta belli bir kişiye işaret ettiğini belirtirler.^[7][8] Çift kör denetim yönteminin savunucuları ise onun en az geleneksel denetim kadar iyi çalıştığını ve bilimsel finansman ve yayımcılığın daha adil ve eşit görünmesine sağladığını öne sürmekteler.^[9] Behavioral Ecology dergisi çift kör akran denetimine geçtikten sonra kadın yazarların sunduğu makalelerin kabul oranı artmış, ekoloji dalında yayım yapan ve tek kör denetime devam benzer dergilerde ise kadın yazarların kabul edilme oranı değişmediği bulunmuştur.^[10] Sosyal ve Beşeri bilimlerde çift maskeli denetim yaygın olarak kullanılmakta ve bu sahalarda desteklenmektedir, biyomedikal bilimlerde ise tek maskeli denetime göre olan avantajı hâlâ tartışmalıdır. Çok rekabetli sahalarda (sinir bilimleri gibi) ve ticari boyutlu sahalarda (malzeme bilimi ve kimya mühendisliği gibi) çift maske denetimi desteklenirken, açık bilgi erişimi geleneği olan sahalarda (matematik ve astronomi gibi) bu yöntem az destek bulmaktadır.^[11]

Eğer bir yazar ve denetmen birbirlerine normalden öte bir saygı (veya küçümseme) duyarlarsa bir çıkar çatışması ortaya çıkar. Bu yüzden denetmenler yazarın kimliğini görebiliyorlarsa çıkar çatışmalarını bildirmeleri istenir. Yazarlar da çıkar çatışması yaratacak kişilerin denetmen olmamasını önceden talep edebilirler. Bir çıkar çatışması durumunda çatışmalı denetmenin makaleyi görmesine izin verilmez. Bir denetmenin çıkar çelişkisini bildirmesi meslek ahlakî ve kişisel nâmus meselesidir. Denetim raporları halka açık değilse de bunlar kayıtlarda mevcuttur ve denetmenin inanılırlığı o kişinin akranlarına kendisini nasıl sunduğuyla ilişkilidir. Bazı bilişim mühendisliği dergileri (örneğin IEEE Transactions on Software Engineering) maskesiz denetim kullanır ve çıkar çatışması olup olmadığı hem yazar hem denetmenlerce editöre bildirilir.

Daha sıkı bir sorumluluk standardı ise bilimsel teftiştir. Denetmenler parasız görev yaptığı için denetim yaparken bir teftişte olduğu kadar çok zaman ve emek harcayamazlar. Bazı dergi (ve NSF gibi fon veren kurumlar) başka bir araştırmacının araştırma sonuçlarını doğrulayabilmesi için kullandıkları veri ve yöntemleri kamuya açık şekilde arşivlemesini şart koşar.

Akran denetim süreci hakkındaki en yaygın eleştirilerden biri onun yavaş olmasıdır. Bazı sahalarda bir dergiye sunulan bir makalenin basılmasına kadar aylar, hatta yıllar geçebilir. Uygulamada, astronomi gibi bazı alanlarda, yayımlar akran denetimli makaleler şeklinde değil, elektronik arşivlere (arXiv.org gibi) sunulan önbaskılar (preprint) şeklinde olmaktadır. Ancak bu önbaskılar genelde eşdenetimli dergilere de sunulur ve çoğu zaman, elektronik arşive sunuldukları zaman akran denetiminden geçmiş ve yayımlanmaları kabul edilmiştir.

Akran denetiminden geçmiş olmak bilimsel topluluk tarafından geçerliliğin bir tasdiklenmesi olarak görülse de, bu süreç sorunsuz değildir. Journal of the American Medical Association (Amerikan Tıp Derneği Dergisi)'nin yardımcı editörü Drummond Rennie, Akran Denetimi ve Biyomedikal Yayınlar Uluslararası Kongresi'nin 1986'den beri organizatörüdür.^[12] Rennie, her türlü makalenin eninde sonunda yayınlanabildiğini ifade etmek için, "bir makalenin basılmamasına neden olacak kadar bölük pörçük bir çalışma; sıradan bir hipotez; taraflı veya bencil bir yazım; çarpık bir tasarım; berbat edilmiş bir yöntem; hatalı, anlaşılması güç ve tutarsız bir sonuç; kendine yontulmuş bir analiz; geçersiz veya üstünkörü bir çıkarım; rahatsız edici gramer ve söz dizimi yoktur"^[13] demiştir.

Britanya tıp dergisi The Lancet'in editörü Richard Horton ise şöyle demiştir: "Akran denetiminin, yeni bir buluşun kabul edilirliğini -doğruluğunu değil- belirlemeye yarayan kaba bir araçtan öte bir şey olduğunu zannetmek tabii ki bir hata oldu. Hem editörler hem bilimciler akran denetiminin merkezi önemi üzerinde ısrar ediyorlar. Halka sunduğumuz imaja göre, akran denetimi yarı-kutsal bir süreç olarak çalışmakta ve bilimin, objektif doğruluğun kaynağı haline gelmesine yardımcı olmaktadır. Ama aslında biliyoruz ki, akran denetim sistemi taralı, adaletsiz, sorumsuz, noksan, kolayca şike yapılabilir, çoğu zaman aşılayıcı, bazen aptalca ve sıkça yanlış olabilmektedir."^[14]

Yazarlar ve okuyucuların arasına editör ve denetmenlerin girmesi, bu aracı şahısların kamuoyunun bilgilenmesini kontrol gücüne sahip olma olasılığını gündeme getirir. Bazı bilim sosyologları, akran denetimi yüzünden yayımlanabilme yeteneğinin elit tabakaların ve kıskanç kişilerin kontrolüne maruz kaldığını öne sürmüşlerdir.^[15] Akran denetim süreci popüler görüşlere muhalefeti bastırabilir.^[16][17][18] Denetmenler kendi görüşlerine ters düşen sonuçları karşı daha eleştirici, kendileriyle uyumlu olanlara da hoşgörülü olmak eğilimlidir. Yüksek prestijli dergiler veya yayınevleri elit bilimcilere, yeterince itibar kazanmamış bilimcilere kıyasla daha sık denetmenlik görevi verirler. Thomas Kuhn'un bilimsel devrimlerle ilgili gözlemlerine uygun olarak, elit bilimcilerin görüşleriyle uyumlu olan fikirlerin birinci sınıf dergilerde basılabilme olasılığı daha yüksektir, yerleşmiş inançlara karşı çıkan veya devrimci fikirlere kıyasla.^[19]

Buna karşın, yeni bilgilerin yayımının tamamen elit bilimciler tarafından kontrolü kolay değildir, çünkü bir makalenin yayımlanabileceği pek çok bilimsel dergi vardır. Ayrıca, akran denetimindeki karar verme sürecinde her denetmenin diğer denetmenlerle görüşmeden ayrı ayrı görüşlerini belirtmesi, bu problemlerin önüne geçmeyi amaçlar:

Akran denetimi yeni fikirleri kösteklemez. Dergi editörleri ve egemen bilimsel çevreler yeni keşiflere düşman değildir. Bilim yeni keşiflerle gelişir, bilimsel dergiler yeni buluşları yayımlamak için yarışırlar.^[20]

Akran denetiminden geçmiş bir makalede bariz temel hatalar kalmışsa ve bunlar makalenin ana çıkarımlarını çökmesine neden oluyorsa akran denetimi başarısızlığa uğramış demektir. Çoğu dergide başarısız akran denetimi olması halinde yapılması belirlenmiş bir prosedür yoktur, sorunu belirten okuyucu mektuplarını yayımlamak dışında.^[21]

Bilimsel dergilerde akran denetimi yapılırken makalenin namuslu olarak yazıldığı varsayılır ve bu süreç bilimsel sahtekarlığı bulma amacını taşımaz. Denetmenlerin genelde makalenin yazılmasında kullanılan veriye tam erişimleri yoktur ve makalede verilen bilgilerden bazılarının doğruluğu güvene dayalıdır. Deneysel çalışmalarda bir denetmenin yazarların çalışmasını yeniden üretmesi genelde pratik değildir.

Geleneksel anonim akran denetiminin sorumluluk içermediği, denetmenlerin suistimaline yol açabileceği, taraflı ve tutarsız olabileceği öne sürülmüştür.^[22][23][24] Bu eleştiriler yüzünden çeşitli derecede "açık" olan başka akran denetim sistemleri önerilmiştir.

1990'larda başlamak üzere, birkaç bilimsel dergi (2006 senesinde geniş okuyucu kitleli Nature dergisi dahil olmak üzere) hibrit akran denetim süreçleri denemeye başladılar. Bunlarda açık akran denetimi ile geleneksel sistemin paralel çalışmasına izin verilmiştir. İlk sonuçlar net olmamış ama açık akran denetiminde denetmen olmaya davet edilenlerin reddetme olasılığının daha yüksek olduğu bulunmuştur.^[25][26]

2000'lerde tamamen açık akran denetimine dayalı dergiler yayıma başladılar. Akran denetiminin yayım tarihinden sonrasına uzaması olan Açık Akran Yorumu (Open Peer Commentary) yayımlanmış makaleler hakkında uzman yorumları talep edilir ve yazarların bunlara cevap vermesi teşvik edilir. Yani, akran denetimi makalenin yayımlanmasından sonra başlar ve herkesçe yapılabilir.

ABD federal devletinin çoğu düzenleyici kurumu bazı bilimsel bilgileri kamuya sunmadan evvel bunları akran denetimi uygulamak zorundadırlar. Bu zorunlulukların ayrıntıları Beyaz Saray'a bağlı Yönetim ve Bütçe Ofisi (Office of Management and Budget, "OMB") tarafından, bir Akran Denetleme Bülteni içinde yayımlanmıştır.^[27] Söz konusu bilimsel bilgiler, kamu politikası veya özel sektör kararlarına etki edecek nitelikte olmalıdır. Dergilerdeki akran denetiminden farklı olarak, şeffaflık ilkesi gereği, bazı çok önemli bilimsel değerlendirmeler durumunda, denetmenlerin kimliklerinin ifşa edilmesi gerekmektedir. Bu uygulama, özellikle çevre kirliliği, ilaç reklamları, halk sağlığı gibi siyasi boyutlu konularda yapılan araştırmaların geçerliliğini kontrol etmek için kullanılır.

Kayıtlara geçen ilk akran denetimi 1665'te Kraliyet Derneği'nde (Royal Society), Philosophical Transactions of the Royal Society dergisinin kurucusu editörü Henry Oldenburg tarafından uygulanmıştır.^[28][29] Bir dinbilimci olan Oldenburg dergiye sunulan her makalenin kalitesini değerlendiremeyeceğine karar vermiş, bu yüzden bu sorumluluğu bazen uygun uzmanlığa sahip başka bilginlere havale ederdi.

Akran denetiminin günümüzde tanımlandığı biçimiyle ilk uygulaması 1731'de Edinburg Kraliyet Derneği tarafından yayımlanan Medical Essays and Observations olmuştur. Bu dergiye sunulan her makale, dernek üyelerinin seçkin bir grubu tarafından incelenir ve bunların editöre tavsiyesi, makalenin yayımlanabilirliğinde etkili olurdu. Günümüzdeki akran denetim sistemi bu 18. yüzyıl sürecinden evrimleşmiştir. 1752'de bu değerlendirme yöntemi Kraliyet Derneği tarafından da benimsendi.^[30] Bu gelişmenin bir sonucu, makalelerinin denetim kurulundan reddedilme olasılığını azaltmak isteyen yazarların, makaleyi resmen dergiye sunmadan önce, çalışmalarının taslaklarını bilimsel dernek toplantılarında sunarak dinleyicilerden görüş almak oldu.^[31]

Akran denetimine benzer bir uygulamanın ilk örneği, Suriyeli Ishak bin Ali al-Rahvi'nin (854–931) yazdığı "Hekimin Ahlâkı" adlı eserde görülmektedir. Bu ve bunu izleyen Arap tıp kitapçıklarında, bir hekimin her ziyaretinde hastanın durumuyla ilgili notlarının iki kopya halinde tutması gerektiği yazar. Hasta iyileştiği veya öldüğü zaman hekimin notları başka hekimlerden oluşan yerel bir tıbbî şurâda incelenirdi, gerekli tıbbî bakım standartlarına uyulduğunu kontrol etmek için. Denetimlerinin sonucu olumsuz çıkarsa hekim kötü tedavi görmüş hasta tarafından dava edilebilirdi.^[31]

Akran denetimi bilimsel yöntemin bir mihenk taşı olması sadece 20. yy'ın ortalarından beridir, bunun tek istisnası tıp sahası olmuştur. Bundan evvel akran denetiminin diğer sahalarda uygulanması gevşekti. Örneğin Albert Einstein'in Annalen der Physik'in 1905 sayısındaki devrim yaratıcı "Annus Mirabilis" yazıları, derginin baş editörü Max Planck (kuantum teorisinin babası) ve yardımcı editörü Wilhelm Wien dışında kimse tarafından akran denetimine tabi tutulmamıştı. Bu ikisi bariz şekilde Einstein'ın akranı olsalar da (ikisi de fizikte Nobel ödülleri kazandılar), günümüzdeki çoğu bilimsel dergide olduğu gibi resmi bir denetmen paneli oluşturulmamıştı. Kendini kanıtlamış yazar ve editörlere yayım yapmakta daha çok esneklik tanınıyordu o yıllarda. "O yıllarda kanıt yükümlülüğü yeni fikirlerin muhaliflerinindi, savunucularının değil"^[32]

• Ann C. Weller Editorial Peer Review: its Strengths and Weaknesses Medford, NJ: American Society for Information Science and Technology, 2001. ISBN 1-57387-100-1 (ayrıntılı bibliyografya)
• Nature peer review debate 25 Haziran 2009 tarihinde Wayback Machine sitesinde arşivlendi. June 2006
• Fifth International Congress on Peer Review and Biomedical Publication 3 Temmuz 2009 tarihinde Wayback Machine sitesinde arşivlendi.
• Discussion forum about the peer review system 28 Şubat 2009 tarihinde Wayback Machine sitesinde arşivlendi.
• "A Difficult Balance: Editorial Peer Review in Medicine" 16 Aralık 2009 tarihinde Wayback Machine sitesinde arşivlendi. (Bibliography, hosted by Eugene Garfield)

• Beyond Open Access: Open Discourse, the next great equalizer 24 Ekim 2008 tarihinde Wayback Machine sitesinde arşivlendi., (Retrovirology 2006, 3:55)
• The Maharishi Caper: Or How to Hoodwink Top Medical Journals, The Newsletter of the National Association of Science Writers
• "Measuring the quality of peer review" 8 Temmuz 2009 tarihinde Wayback Machine sitesinde arşivlendi. Journal of the American Medical Association 287: 2786–2790 (2002).
• Peer review – process, perspectives and the path ahead 15 Aralık 2009 tarihinde Wayback Machine sitesinde arşivlendi. (J Postgrad Med 2001;47:210-4)
• Something Rotten at the Core of Science? 26 Nisan 2009 tarihinde Wayback Machine sitesinde arşivlendi. (Analysis of US court decision of criteria for scientific evidence)
• Malice's Wonderland: Research Funding and Peer Review 18 Mart 2009 tarihinde Wayback Machine sitesinde arşivlendi. (Journal of Neurobiology 14, No. 2., pp. 95–112 (1983). ()
• Is agreement between reviewers any greater than would be expected by chance alone? 26 Ağustos 2009 tarihinde Wayback Machine sitesinde arşivlendi. (Brain, Vol. 123, No. 9, 1964-1969, September 2000)
• Science and Politics: An Uneasy Mix (Reprinted from GSA Today, v. 14, no. 7 (July 2004))
• Horrobin DF (Mart 1990). "The philosophical basis of peer review and the suppression of innovation". JAMA. 263 (10). ss. 1438-41. PMID 2304222. 
  comment: "Peer review and the philosophy of science". JAMA. 264 (24). Aralık 1990. s. 3143. PMID 2078249. 
• Suppressing Dissent in Science (Lancet Volume 357, Number 9257 3 March 2001)
• Hampering the progress of science by peer review and by the 'selective' funding system 26 Ocak 2009 tarihinde Wayback Machine sitesinde arşivlendi. (Science Tribune - Article - December 1996)
• Suppression of Dissent in Science (Research in Social Problems and Public Policy V. 7)
• Refereed Journals: Do They Insure Quality or Enforce Orthodoxy? Frank J. Tipler, and discussion board.
• The peer-review system: time for re-assessment? 27 Aralık 2008 tarihinde Wayback Machine sitesinde arşivlendi. (Marine Ecology Progress Series)
• Philip E. Bourne, Alon Korngreen, "Ten Simple Rules for Reviewers", PLoS Computational Biology, 2(9):e110, 2006 September. General guidelines for reviewing.
• Stevan Harnad:
  • 1998: The Invisible Hand of Peer Review 17 Nisan 2009 tarihinde Wayback Machine sitesinde arşivlendi. Nature version; Exploit Interactive 10 Temmuz 2009 tarihinde Wayback Machine sitesinde arşivlendi. version
  • 1997: Learned Inquiry and the Net: The Role of Peer Review, Peer Commentary and Copyright 29 Aralık 2008 tarihinde Wayback Machine sitesinde arşivlendi. (Learned Publishing 11(4) pp. 283–292.)
  • 1996: Implementing Peer Review on the Net: Scientific Quality Control in Scholarly Electronic Journals 29 Aralık 2008 tarihinde Wayback Machine sitesinde arşivlendi. (Peek, R. and Newby, G., Eds., pp. 103–118. MIT Press.)
  • 1985: Rational disagreement in peer review 29 Aralık 2008 tarihinde Wayback Machine sitesinde arşivlendi. (Science, Technology and Human Values 10 pp. 55–62.)
  • 1979: Creative disagreement 28 Temmuz 2009 tarihinde Wayback Machine sitesinde arşivlendi. (The Sciences 19 18 - 20.)
  • 1978 Behavioral and Brain Sciences (BBS) editorial 10 Nisan 2007 tarihinde Wayback Machine sitesinde arşivlendi.
• The Task of the Referee
• A web-based survey on the practice of peer-review in political science: The Political Science Peer-Review Survey 3 Mart 2009 tarihinde Wayback Machine sitesinde arşivlendi.