"Weight" é usado para definir o peso das questões na média da revisão e "Global Weight" é usado para calcular o peso da revisão na média final do artigo. Ambas as somas devem ser 1, sendo que o "Global Weight" é opcional, não precisa ser usado se você não quiser, é só deixar ZERO para todas as questões. |
Funciona da seguinte maneira, acho que através de exemplos fica mais fácil de explicar. Imagine as seguintes questões no review form: |
1 - ORIGINALITY: 1 ~ 5 , Weight 0.5, Global Weight 0.0 |
2 - RECOMMENDATION: 1 ~ 5 , Weight 0.5, Global Weight 0.0 |
3 - CONFIDENCE IN THE EVALUATION: 1 ~ 5 , Weight 0.0, Global Weight 1.0 |
Para cada revisão o JEMS calcula uma "média", a partir dos scores dos revisores e pesos (Weight), e um "peso da revisão", a partir dos scores e pesos globais |
(Global Weight). Por exemplo, veja as revisões e médias e pesos calculados abaixo: |
Questões | 1 | 2 | 3 | Média | Peso | |
----------+---+---+---+-------+------| |
Revisor 1 | 4 | 4 | 3 | 8 | 0.6 | |
Revisor 2 | 5 | 5 | 5 | 10 | 1.0 | |
Revisor 3 | 5 | 5 | 5 | 10 | 1.0 | |
-------------------------------------- |
média revisão = Somatório(score / max score * weight) * 10 |
-- média da revisão 1 é: (4/5*0.5 + 4/5*0.5 + 3/5*0.0)*10 = 8 |
peso da revisão = Somatório(score / max score * global weight) |
-- peso da revisão 1 é: (4/5*0.0 + 4/5*0.0 + 3/5*1.0) = 0.6 |
Então para cada artigo o JEMS calcula uma média geral e uma média ponderada. Essas médias são as notas finais de cada artigo, ou seja, é o critério de comparação usado pelos chairs para dizer quais os melhores e piores artigos. |
A média geral é simplesmente uma média comum das médias das revisões. |
Média geral = Somatório(Média)/Número de revisões |
Média geral do artigo exemplo = 8 + 10 + 10 / 3 = 9.33 |
A média ponderada é calculada a partir das médias e pesos. |
Média ponderada = Somatório(Média*Peso)/Somatório(Peso) |
Média ponderada do artigo exemplo = (8*0.6 + 10*1.0 + 10*1.0 ) / (0.6 + 1.0 + 1.0) = 9.53 |
Assim, utilizando a média global é possivel determinar que uma revisão tenha mais peso em relação as outras na média do artigo a partir da confiança do revisor, ou familiaridade dele com o assunto. No exemplo acima, o revisor número 1 deu uma nota mais baixa que os outros, mas influenciou menos na média final do artigo pois a confiança dele era menor que a dos outros. |
A lista de artigos ordenada dos artigos por nota (que é a média/média ponderada) está em "Chair-Papers-List papers", marcar opção "Average review score" |
em "Fields to show". É possível ordenar os artigos por média (Avg) ou média ponderada (GAvg). |
|