RESUMEN
La investigación experimental en Psicología se rige por un método que garantiza la objetividad, la fiabilidad, la validez y la reproducción de los resultados. En este trabajo se proponen un conjunto de criterios para la preparación y revisión de manuscritos de investigación experimental y cuasi-experimental que sigue precisamente tales dictados metodológicos de objetividad. Tales criterios se basan en una revisión de los aspectos estructurales propios de la metodología de investigación experimental y la teoría moderna de teorización psicológica, así como en la teoría de validez. Dichos aspectos se complementaron además con lo que se ha publicado sobre el propio proceso de revisión, tanto desde el punto de vista empírico como estadístico-metodológico. Recientemente estos criterios se reajustaron de acuerdo con el juicio de expertos. Se distingue entre criterios básicos, obligatorios, complementarios, y criterios metodológicos. Dichas normas se organizan según el sistema ExperimenCheck2, un instrumento de medida que abarca las características del informe, los antecedentes, el desarrollo teórico, el diseño, análisis e interpretación de resultados, formato y fuentes documentales. Además los criterios se resumen mediante un mapa conceptual. Se presentan también las directrices generales de un proceso de revisión basado en dicho sistema de evaluación.
La Ciencia se puede entender como el conjunto de conocimientos organizados que se adquiere tras la aplicación de un esquema de actuación organizado y consensuado, lo que entendemos por el método científico. El método científico es un procedimiento auto-correctivo, sistemático y estructurado (Keppel, 1991; Maxwell y Delaney, 2004), que sirve para evaluar observaciones empíricas minimizando el sesgo dado por ideas preconcebidas, creencias o razonamientos parciales. El conocimiento que surge así, es observable y, en general, público, objetivable, preciso, fiable y, cuando menos, reproducible. Existe un acuerdo unánime entre los psicólogos de que son los criterios del método científico los que tienen que marcar las directrices de la actividad investigadora y la comunicación de los resultados obtenidos a través de la misma. En este sentido un aspecto fundamental de la investigación consiste en hacer que los hallazgos estén disponibles de manera pública pues esto posibilita su continua revisión y replicación.
La difusión del conocimiento científico descansa en buena medida sobre un proceso que requiere un conjunto de criterios bien organizados tanto para la preparación de artículos de investigación cuanto para la revisión de los mismos; lo que se conoce como el proceso de revisión por pares (“peer-review” o de “dobleciego”). El presente artículo es una propuesta de normas para las publicaciones que pretende superar tres dificultades presentes en el proceso de revisión “por pares”. Se ha comprobado que el proceso no es uniforme (Beyer, Chanove y Fox, 1995), con frecuencia no aparece claramente delimitado y definido sino que es de carácter abierto (Gilliland y Cortina, 1997) e incluso porque podría incurrir en decisiones subjetivas y personalistas (Gilliland y Beckstein, 1996; Hadjistavropoulos y Bieling, 2000). Proponemos una guía estructurada para el proceso de revisión y escritura de artículos, que puede ser de utilidad tanto para los científicos en general como para los jóvenes investigadores en particular.
En concreto, dirigiremos nuestra atención hacia los criterios para la valoración de artículos de investigación de carácter experimental y cuasiexperimental (véanse Bobenrieth, 2002, expresamente para criterios en Ciencias de la salud, Buela-Casal y Sierra, 2002 o Virués-Ortega y Moreno Rodríguez, 2008, para casos clínicos, Carretero-Dios y Pérez, 2007, para la parte instrumental relacionada con la medición de variables y Botella y Gambara, 2006, expresamente para guiar los trabajos de meta-análisis). Otros criterios para guiar el proceso de revisión de artículos no experimentales, del tipo descriptivo o cualitativo en general, se pueden encontrar en revisiones como la de Campion (1993). En los siguientes apartados, empezaremos con una justificación del sistema complejo de criterios que se propone, vertebrada a partir de dos componentes principales: estructura y validez. Entonces, explicaremos la información incorporada al sistema de normas que proponíamos en trabajos precedentes (Ramos-Álvarez y Catena, 2004; Ramos-Álvarez, Valdés-Conroy y Catena, 2006), para terminar con la presentación de un instrumento concreto para la evaluación de publicaciones de investigación experimentales y cuasiexperimentales.
Los criterios de revisión
Estructura
Siguiendo propuestas recientes (Maxwell y Delaney, 2004), el programa actual de investigación marca la importancia de un esquema de actuación según etapas relativamente jerarquizadas que pueden agruparse en tres niveles: conceptual, metodológico y estadístico. En otras palabras, la Ciencia oscila entre un mundo conceptual (unido a las teorías explicativas y las hipótesis de investigación) y un mundo empírico (unido a las observaciones y los datos). Entre ambos, necesariamente tiene que implementarse un método adecuado a las hipótesis de partida, que además tenga en cuenta los datos relevantes para poner a prueba las mismas. Si conjugamos esta propuesta con las ideas desarrolladas en el manual de publicaciones de la American Psychological Association (2001) y con las revisiones empíricas recientes del propio proceso de revisión (Beyer et al., 1995; Gilliland y Cortina, 1997); se puede concluir que tienen especial relevancia los apartados de desarrollo teórico (la introducción y la discusión en un informe estándar), el de diseño experimental (apartado de método) y el de resultados.
Validez
La teoría de la validez, revisada recientemente por Shadish, Cook y Campbell (2001), describe una serie de amenazas potenciales a las conclusiones de la investigación. La parte inicial de un artículo de investigación, propia del nivel conceptual, se corresponde fundamentalmente con la validez de constructo, esto es, las razones por las que pueden ser incorrectas las inferencias sobre los constructor que caracterizan las operaciones del estudio. Se incluyen básicamente los problemas relativos a la definición del constructo en sí o relativos a las definiciones empíricas que le corresponden. El diseño, propio del nivel de actuación metodológico, vendrá marcado por dos tipos de validez: interna (las razones por las que pueden ser incorrectas las inferencias relativas al efecto de una variable independiente) y externa (las razones por las que pueden ser incorrectas las inferencias sobre cómo los resultados de los estudios podrían generalizarse a través de variaciones en sujetos-participantes, contextos, tratamientos y resultados). En este punto es especialmente relevante el control de variables extrañas y el muestro de unidades de investigación.
Los apartados finales, resultados y discusión, ambos sobre el nivel estadístico, están asociados a la validez estadística (las razones por las cuales las inferencias – conclusiones- que se extraen a partir del análisis estadístico pueden ser incorrectas). Se incluyen, por tanto, problemas dados por el cumplimiento de los supuestos de la perspectiva analítica (i.e. homogeneidad de varianzas, esfericidad, etc.) que puede incrementar la probabilidad de error tipo I especialmente cuando incrementa el número de contrastes o comparaciones. Los criterios así derivados a partir de la teoría de validez, se podrían complementar con los provenientes de la concepción moderna de la teorización psicológica -véase Ramos, Catena y Trujillo (2004) para una revisión-, en la que el concepto nuclear es el de causalidad. Desde esta perspectiva, el diseño es una actividad compuesta por dos fases: estructural (el diseño estadístico) y estratégica (manipulación y control de variables). Ambas etapas son dependientes del plan de investigación, que hará las veces de puente entre el problema que motiva la investigación y los datos (véase Ramos et al., 2004). Desde un punto de vista estadístico, el Modelo Lineal General y el Modelo Lineal Generalizado (Estes, 1991; Harris, 1994; Judd y McClleland, 1989; Judd, McClelland y Culhane, 1995; véase por ejemplo Minitab –Minitab Inc, 2008-, R –The R Project, 2008-/S-Plus –Insightful Inc, 2008-, o STATISTICA –StatSoft Inc, 2008-) constituyen actualmente los marcos de referencia analítico; donde la regresión lineal multivariada constituye el principio nuclear. En esta línea, se ha recomendado (Wilkinson, and the Task Force on Statistical Inference, 1999) la incorporación de algunos cálculos estadísticos que permiten valorar de manera más adecuada los resultados de la investigación, como la magnitud del efecto del tratamiento y la potencia estadística (Chow, 1998). Los criterios obtenidos a partir de la convergencia metodológica reseñada se depuraron a partir de lo que se ha establecido sobre el propio proceso de revisión, tanto desde una aproximación empírica (Campion, 1993) como estadísticometodológica (Gore, Jones y Thompson, 1992). En la propuesta actual se añadieron nuevos ítems para valorar el nivel de desarrollo conceptual y otros relacionados con los sesgos más frecuentes en torno al análisis de los resultados, especialmente los que tienen que ver con la validez estadística de la investigación.
También de cierta trascendencia, las publicaciones sobre la evaluación de la política editorial de algunas revistas (Beyer et al., 1995), nos permiten extraer algunas conclusiones sobre los parámetros fundamentales del proceso de revisión: la relevancia-originalidad-novedad en primer lugar, seguido por la adecuación conceptual y técnica, con la claridad y conveniencia para la revista en último lugar.
En una aproximación similar, Gilliland y Cortina (1997) establecieron como ejes principales los siguientes: aspectos del diseño, lo apropiado del material y la calidad teórica y estadística y en último lugar en orden de influencia, el dominio de la literatura, los aspectos de operativización de constructos o el estilo de escritura. Esta información nos sirvió para depurar una última vez nuestro sistema de criterios, incluyendo nuevos ítems para dar mayor cobertura a aspectos poco
