Πώς αξιολογείται η αξιολόγηση από ομοτίμους στις κοινωνικές επιστήμες

Αξιολόγηση από ομοτίμους, τουλάχιστον με πρόθεση, είναι ο τρόπος με τον οποίο οι συντάκτες των ακαδημαϊκών περιοδικών προσπαθούν να διατηρήσουν την ποιότητα των άρθρων στις δημοσιεύσεις τους υψηλά και να διαβεβαιώσουν (ή να επιχειρήσουν να εξασφαλίσουν) ότι η κακή ή παραπλανητική έρευνα δεν δημοσιεύεται. Η διαδικασία συνδέεται με πολιτικά και οικονομικά ζητήματα κατοχή και κλίμακες αμοιβής, δεδομένου ότι ένας ακαδημαϊκός που συμμετέχει στη διαδικασία αξιολόγησης από ομοτίμους (ως συγγραφέας, συντάκτης ή κριτικός) παίρνει ανταμοιβή για ότι η συμμετοχή σε αύξηση της φήμης που μπορεί να οδηγήσει σε αύξηση των μισθολογικών κλιμάκων αντί στην άμεση πληρωμή για υπηρεσίες αποδίδεται.

Με άλλα λόγια, κανένα από τα άτομα που εμπλέκονται στη διαδικασία αναθεώρησης δεν καταβάλλεται από το συγκεκριμένο περιοδικό, με μόνη εξαίρεση (ίσως) ενός ή περισσοτέρων βοηθών συντακτών. Ο συγγραφέας, ο συντάκτης και οι αναθεωρητές το κάνουν αυτό για το κύρος που συμμετέχει στη διαδικασία. πληρώνονται γενικά από το πανεπιστήμιο ή την επιχείρηση που τις απασχολεί και σε πολλές περιπτώσεις η αμοιβή εξαρτάται από τη δημοσίευση σε επιστημονικά περιοδικά. Η συντακτική βοήθεια γενικά παρέχεται εν μέρει από το πανεπιστήμιο του συντάκτη και εν μέρει από το περιοδικό.

Ο τρόπος με τον οποίο λειτουργεί η ακαδημαϊκή αξιολόγηση (τουλάχιστον στις κοινωνικές επιστήμες) είναι ότι ένας μελετητής γράφει ένα άρθρο και το υποβάλλει σε ένα περιοδικό για επανεξέταση. ο συντάκτης το διαβάζει και βρίσκει μεταξύ τριών και επτά άλλων μελετητών για να το αναθεωρήσει.

Οι κριτές που επιλέγουν να διαβάσουν και να σχολιάσουν το άρθρο του μελετητή επιλέγουν ο συντάκτης με βάση τη φήμη τους στο συγκεκριμένο πεδίο του άρθρου ή αν αναφέρονται στο βιβλιογραφία, ή αν είναι προσωπικά γνωστοί στον εκδότη. Μερικές φορές ο συγγραφέας ενός χειρογράφου προτείνει κάποιους κριτικούς. Μόλις καταρτιστεί ένας κατάλογος κριτών, ο συντάκτης αφαιρεί το όνομα του συγγραφέα από το χειρόγραφο και προωθεί ένα αντίγραφο στις επιλεγμένες καρδιές. Τότε ο χρόνος περνάει, πολύς χρόνος, γενικά, μεταξύ δύο εβδομάδων και αρκετών μηνών.

Όταν οι κριτικοί επιστρέψουν όλα τα σχόλιά τους (που γίνονται απευθείας στο χειρόγραφο ή σε ξεχωριστό έγγραφο), ο συντάκτης κάνει μια προκαταρκτική απόφαση για το χειρόγραφο. Πρέπει να γίνει αποδεκτή ως έχει; (Αυτό είναι πολύ σπάνιο.) Είναι αποδεκτό με τροποποιήσεις; (Αυτό είναι τυπικό.) Πρέπει να απορριφθεί; (Αυτή η τελευταία περίπτωση είναι επίσης αρκετά σπάνια, ανάλογα με το περιοδικό.) Ο επεξεργαστής διαγράφει την ταυτότητα του οι κριτές και στέλνει μαζί τα σχόλια και την προκαταρκτική της απόφαση για το χειρόγραφο προς το συντάκτης.

Εάν το χειρόγραφο έγινε δεκτό με τροποποιήσεις, τότε ο συντάκτης πρέπει να κάνει αλλαγές έως ότου ο συντάκτης βεβαιωθεί ότι πληρούνται οι επιφυλάξεις των κριτών. Τελικά, μετά από αρκετούς γύρους εμπρός και πίσω, το χειρόγραφο δημοσιεύεται. Η περίοδος από την υποβολή ενός χειρογράφου σε δημοσίευση σε ένα ακαδημαϊκό περιοδικό γενικά διαρκεί από έξι μήνες έως πάνω από ένα χρόνο.

Προβλήματα που ενυπάρχουν στο σύστημα περιλαμβάνουν το χρόνο ροής μεταξύ υποβολής και δημοσίευσης και το δυσκολία στην απόκτηση κριτών που έχουν το χρόνο και την τάση να δίνουν προσεγμένες εποικοδομητικές σχόλια. Οι ασήμαντες ζελατιές και οι πλήρεις πολιτικές διαφορές απόψεων είναι δύσκολο να περιοριστούν σε μια διαδικασία όπου κανείς δεν είναι υπόλογος για ένα συγκεκριμένο σύνολο σχολίων για ένα συγκεκριμένο χειρόγραφο και όπου ο συγγραφέας δεν έχει τη δυνατότητα να ανταποκριθεί άμεσα με τους αναθεωρητές της. Ωστόσο, πρέπει να ειπωθεί ότι πολλοί υποστηρίζουν ότι η ανωνυμία της διαδικασίας τυφλών ανασκοπήσεων επιτρέπει σε έναν αναθεωρητή να δηλώσει ελεύθερα τι πιστεύει για ένα συγκεκριμένο χαρτί χωρίς φόβο αντίποινων.

Η ανάπτυξη του Διαδίκτυο κατά την πρώτη δεκαετία του 21ου αιώνα έχει κάνει μια τεράστια διαφορά στον τρόπο δημοσίευσης των άρθρων και διατίθενται: το σύστημα αξιολόγησης από ομοτίμους είναι συχνά προβληματικό σε αυτά τα περιοδικά, για ορισμένα αιτιολογικό. Η δημοσίευση ανοικτής πρόσβασης - στην οποία τα ελεύθερα σχεδιαζόμενα ή ολοκληρωμένα άρθρα δημοσιεύονται και διατίθενται σε οποιονδήποτε - είναι ένα θαυμάσιο πείραμα που είχε κάποιες επιτυχίες στο ξεκίνημα. Σε ένα έγγραφο του 2013 στο Επιστήμη, Ο John Bohannon περιέγραψε τον τρόπο με τον οποίο υπέβαλε 304 εκδοχές ενός χαρτιού για ένα ψευδές φάρμακο θαύματος σε περιοδικά ανοιχτής πρόσβασης, πάνω από τα οποία τα μισά έγιναν δεκτά.

Το 2001, το περιοδικό Οικολογική συμπεριφορά άλλαξε το σύστημα επανεξέτασης από έναν που αναγνώρισε τον συγγραφέα στους αναθεωρητές (αλλά οι αναθεωρητές παρέμειναν ανώνυμο) σε ένα εντελώς τυφλό, στο οποίο τόσο ο συντάκτης όσο και οι αναθεωρητές είναι ανώνυμοι ο ένας με τον άλλον. Σε ένα έγγραφο του 2008, ο Amber Budden και οι συνεργάτες του ανέφεραν ότι οι στατιστικές συγκρίνουν τα άρθρα που έγιναν αποδεκτά προς δημοσίευση πριν και μετά το 2001 έδειξε ότι σημαντικά περισσότερες γυναίκες έχουν εκδοθεί στην BE από τη διπλά τυφλή διαδικασία άρχισε. Παρόμοια οικολογικά περιοδικά που χρησιμοποιούν μονό-τυφλές ανασκοπήσεις κατά την ίδια περίοδο δεν δείχνουν παρόμοια αύξηση στο αριθμός γυναικείων άρθρων, οι κορυφαίοι ερευνητές πιστεύουν ότι η διαδικασία διπλής τυφλής ανασκόπησης μπορεί να βοηθήσει με την 'γυάλινη οροφή' αποτέλεσμα.

• Bohannon, John. "Ποιος φοβάται την αξιολόγηση από ομότιμους;" Science, τόμ. 342, αρ. 6154, Αμερικανική Ένωση για την Προώθηση της Επιστήμης (AAAS), Οκτ. 2013, σελ. 60–65.
• BUDDEN, Α., Et αϊ. “Το Double-Blind Review ευνοεί την αυξημένη αντιπροσώπευση των γυναικών συγγραφέων. " Τάσεις στην Οικολογία & Εξέλιξη, τομ. 23, όχι. 1, Elsevier BV, Jan. 2008, σελ. 4–6.
• Carver, Μάρτιν. “Περιοδικά Αρχαιολογίας, Ακαδημαϊκοί και Ανοικτή Πρόσβαση. " Ευρωπαϊκή Εφημερίδα της Αρχαιολογίας, τομ. 10, όχι. 2-3, Cambridge University Press (CUP), 2007, σελ. 135–48.
• Χιλίδη, Κωνσταντίνος. “Νέες γνώσεις εναντίον συναίνεσης - μια κρίσιμη σημείωση σχετικά με τη σχέση τους με βάση τη συζήτηση σχετικά με τη χρήση των βαρέλι-θησαυρών στους μακεδονικούς τάφους. " Ευρωπαϊκή Εφημερίδα της Αρχαιολογίας, τομ. 11, όχι. 1, Cambridge University Press (CUP), 2007, σελ. 75–103.
• Etkin, Αδάμ. “Μια νέα μέθοδος και μέτρο για την αξιολόγηση της διαδικασίας αξιολόγησης από ομοτίμους των επιστημονικών περιοδικών. " Publishing Research Quarterly, vol. 30, όχι. 1, Springer Science and Business Media LLC, Δεκ. 2013, σελ. 23–38.
• Gould, Thomas H. Π. “Το μέλλον της αξιολόγησης από ομοτίμους: Τέσσερις δυνατότητες επιλογής σε τίποτα. " Publishing Research Quarterly, vol. 28, όχι. 4, Springer Science and Business Media LLC, Οκτ. 2012, σελ. 285–93.
• Vanlandingham SL. Έκτακτα παραδείγματα εξαπάτησης στην αξιολόγηση από ομοτίμους: Συγκέντρωση της φρίκης του κρανίου Dorenberg και σχετική κακή συμπεριφορά. 13η Παγκόσμια Διάσκεψη για τη Συστημική, την Κυβερνητική και την Πληροφορική: Διεθνές Συμπόσιο για την Επισκόπηση Ομοτίμων. Ορλάντο, Φλόριντα. 2009.
• Vesnic-Alujevic, Lucia. “Αξιολόγηση από ομοτίμους και επιστημονική δημοσίευση σε Times of Web 2.0."Publishing Research Quarterly, vol. 30, όχι. 1, Springer Science and Business Media LLC, Feb. 2014, σελ. 39–49.
• Βέισ, Μπραντ. “Άνοιγμα της Πρόσβασης: Δημοσιεύματα, Δημοσίευση και Διαδρομή προς Ένταξη. " Πολιτιστική Ανθρωπολογία, τομ. 29, όχι. 1, American Anthropological Association, Feb. 2014, σελ. 1–2.