Peering into peer review: Good quality reviews of research articles require neither writing too much nor taking too long



Título del documento: Peering into peer review: Good quality reviews of research articles require neither writing too much nor taking too long
Revista: Transinformacao
Base de datos: CLASE
Número de sistema: 000500700
ISSN: 0103-3786
Autores: 1
1
2
1
Instituciones: 1Universidad de La Serena, Departamento de Artes y Letras, La Serena, Coquimbo. Chile
2Pontificia Universidad Católica de Chile, Facultad de Letras, Santiago de Chile. Chile
Año:
Periodo: May-Ago
Volumen: 30
Número: 2
País: Brasil
Idioma: Inglés
Tipo de documento: Artículo
Enfoque: Analítico, descriptivo
Resumen en inglés The value of scientific knowledge is highly dependent on the quality of the process used to produce it, namely, the quality of the peer-review process. This process is a pivotal part of science as it works both to legitimize and improve the work of the scientific community. In this context, the present study investigated the relationship between review time, length, and feedback quality of review reports in the peer-review process of research articles. For this purpose, the review time of 313 referee reports from three Chilean international journals were recorded. Feedback quality was determined estimating the rate of direct requests by the total number of comments in each report. Number of words was used to describe the average length in the sample. Results showed that average time and length have little variation across review reports, irrespective of their quality. Low quality reports tended to take longer to reach the editor, so neither time nor length were related to feedback quality. This suggests that referees mostly describe, criticize, or praise the content of the article instead of making useful and direct comments to help authors improve their manuscripts
Resumen en portugués O valor do conhecimento científico é altamente dependente da qualidade do processo com o qual se produz, isto é, do processo de avaliação por pares. Esse processo é uma parte fundamental da ciência que legitima e melhora o trabalho da comunidade científica. Nesse contexto, o presente estudo explora a relação entre o tempo de revisão, a extensão e a qualidade da retroalimentação dos relatórios de arbitragem no processo de avaliação, por pares, de artigos científicos. Para esse propósito, foi registrado o tempo de revisão de 313 pareceres de três revistas chilenas internacionais. Para a extensão, foi calculada a quantidade de palavras por parecer, e para a qualidade do feedback foi estimada a quantidade de solicitações diretas (ou de nível 3) pelo total de comentários emitidos em cada parecer. Os resultados demonstraram que o tempo médio e a extensão variavam escassamente nos pareceres, independentemente de sua qualidade. Os pareceres de menor qualidade tenderam a demorar menos em chegar ao editor; portanto, nem o tempo nem a extensão estão relacionadas com a qualidade do feedback. Esses resultados sugerem que os árbitros geralmente descrevem, criticam ou elogiam o conteúdo do artigo em vez de proporcionar comentários úteis e diretos que ajudem os autores a melhorar seus trabalhos
Disciplinas: Bibliotecología y ciencia de la información,
Ciencia y tecnología
Palabras clave: Sistemas de información,
Ciencia,
Fuentes documentales,
Métodos de evaluación,
Retroalimentación,
Revisión por pares,
Artículos científicos
Keyword: Information systems,
Science,
Evaluation methods,
Feedback,
Peer review process,
Research articles
Texto completo: Texto completo (Ver HTML) Texto completo (Ver PDF)