Metrics and methods for comparative ontology evaluation



Document title: Metrics and methods for comparative ontology evaluation
Journal: Ciencia da informacao
Database: CLASE
System number: 000463169
ISSN: 0100-1965
Authors: 1
Institutions: 1University of Florida, Institute for Child Health Policy, Gainesville, Florida. Estados Unidos de América
Year:
Season: Ene-Abr
Volumen: 46
Number: 1
Pages: 23-33
Country: Brasil
Language: Inglés
Document type: Artículo
Approach: Analítico, teórico
Spanish abstract Progreso ha sido hecho en el sentido de describir la necesidad de evaluación de ontologías, como también en las propuestas para mensurarlas y como mensurarlas, pero la literatura aún carece de trabajos sobre la evaluación de ontologías como una disciplina rigorosa. Ontologías como artefactos de información presentan una variedad de aspectos que pueden proveer subsidios para la evaluación, tanto en términos de que evaluar como en términos de las métricas adoptadas. La evaluación de ontologías es una disciplina que requiere (1) consideración sistemática de los diferentes aspectos de las ontologías y de las propiedades que son relevantes para tales aspectos; (2) desarrollo crítico de métodos para examinar las propiedades mencionadas; (3) desarrollo de métricas que permitan a los ingenieros de ontologías comparar los efectos de las diversas decisiones de modelaje posibles, como también la posibilidad de que el usuario compare los méritos de ontologías existentes; (4) identificación de las principales prácticas que llevan a errores de evaluación. El presente artículo considera las varias propiedades de las ontologías que han sido propuestas y organiza tales propiedades de acuerdo con diferentes aspectos ontológicos. Se inicia presentando trabajos relacionados anteriores, ilustrando las prácticas que llevan a errores, como también soluciones potenciales, para ofrecer después un análisis detallado (aún que parcial) de la evaluación de la corrección de ontologías. Se concluye con una discusión sobre los próximos pasos necesarios para sistematizar la evaluación de ontologías
English abstract While progress has been made toward describing the need for ontology evaluation and offering proposals concerning what properties to measure and how, work remains to develop ontology evaluation as a rigorous discipline. Ontologies as information artifacts have a variety of aspects that can inform their evaluation, both in terms of what is evaluated and the metrics used. Ontology evaluation as a discipline requires (1) having a systematic account of the different aspects of ontologies and the properties relevant to those aspects, (2) critically developing methods for examining those properties, (3) developing comparative metrics that allow ontology engineers to compare the effects of various modeling choices and allow users to compare the merits of existing ontologies, and (4) charting possible pitfalls of evaluation. This paper considers various properties of ontologies that have been proposed and organizes these properties according to different aspects of ontologies. To begin bringing previous work together and to illustrate where pitfalls and potential solutions might enter into a rigorous evaluation, I offer a more in depth (though still partial) analysis of evaluating the correctness of ontologies. I conclude with a discussion of next steps in systematizing ontology evaluation
Portuguese abstract While progress has been made toward describing the need for ontology evaluation and offering proposals concerning what properties to measure and how, work remains to develop ontology evaluation as a rigorous discipline. Ontologies as information artifacts have a variety of aspects that can inform their evaluation, both in terms of what is evaluated and the metrics used. Ontology evaluation as a discipline requires (1) having a systematic account of the different aspects of ontologies and the properties relevant to those aspects, (2) critically developing methods for examining those properties, (3) developing comparative metrics that allow ontology engineers to compare the effects of various modeling choices and allow users to compare the merits of existing ontologies, and (4) charting possible pitfalls of evaluation. This paper considers various properties of ontologies that have been proposed and organizes these properties according to different aspects of ontologies. To begin bringing previous work together and to illustrate where pitfalls and potential solutions might enter into a rigorous evaluation, I offer a more in depth (though still partial) analysis of evaluating the correctness of ontologies. I conclude with a discussion of next steps in systematizing ontology evaluation
Disciplines: Bibliotecología y ciencia de la información
Keyword: Análisis y sistematización de la información,
Ontologías,
Evaluación,
Análisis comparativo
Full text: Texto completo (Ver HTML)