Definicao de variaveis e instrumentos de obervacao e avaliacao

Question 1

Qual a necessidade e o porpostivo dos instrumentos d obvservacao e avaliacao

Answer 1

Necessidade da observacao e vaavalicao das varivaies para se compreeender ou explciar os fenomennos
Necesside de instrumentos para concretizar a observacao e avaliacao em contxtos de investigacao e intervencao

Question 2

Quais as vantagengens da utuilziacao de intrsumentos de avaliacao

Answer 2

Credbilizar as difrenceas em resultados ou mudancas
Registar ou quantifica niveis de performance, caracteristicas, categorias
Possbilidade de partilhar resultados compraveis entre investigadores e profissionais, quer a nivel nacional e internacional
Linguagem comum na interpretacao dos dados - economia na apresentacao

Question 3

Quais as exigencias face a um instrumneto de observacao

Answer 3

rigor, objetividade, minimizacao de erros e de vies nos resutlados
Validade da onfomrcao e valor pratico dos resultados

Question 4

Quais os tipos de instrumentos existentes?

Answer 4

-Entrevista- Uma técnica de coleta de dados em que os pesquisadores fazem perguntas diretas aos participantes para obter informações detalhadas sobre suas experiências, opiniões e percepções.
-Grupo focal- Uma abordagem qualitativa em que um facilitador conduz uma discussão em grupo com participantes selecionados para explorar tópicos específicos de interesse.
-Análise documental- Consiste em examinar e analisar documentos escritos, como relatórios, registros, artigos ou outros materiais, para obter insights sobre o tema da pesquisa.
-Questionário- Um instrumento de pesquisa que consiste em uma série de perguntas padronizadas, que podem ser respondidas de forma escrita ou verbal pelos participantes.
-Check-list- Uma lista de verificação ou lista de itens que os pesquisadores usam para registrar a presença ou ausência de determinadas características, comportamentos ou eventos observados.
-Events-record- Um registro sistemático de eventos ou ocorrências relevantes que são observados e documentados ao longo do tempo durante a pesquisa.
-Escalas de avaliação (rating/ ranking scales)- Instrumentos que permitem aos participantes atribuir classificações numéricas ou ordens de preferência a itens específicos, comportamentos ou características.
-Testes de aptidões e de personalidade- Instrumentos padronizados projetados para medir habilidades cognitivas, traços de personalidade ou outras características psicológicas dos participantes.
-Amostra de trabalho e produções- Coleta de exemplos de trabalho, artefatos ou produções relevantes dos participantes para análise e avaliação.
-Provas de proficiência, conhecimentos- Testes padronizados utilizados para avaliar o nível de proficiência ou conhecimento dos participantes em áreas específicas de interesse.

Question 5

Quais as questoes de partida para escolher e adaptar os instrumentos?

Answer 5

• O que se vai avaliar?- definição do construto, comportamento ou atributo a medir
• Para quê se vai avaliar?- determinação dos objetivos do instrumento: classificação dos indivíduos, comparação, seriação, screening (despiste), avaliação de eficácia de intervenção
• Junto de quem?- especificação da população a que se destina: implicações no formato do instrumento, tipo de linguagem, dificuldade dos itens/tarefas, modo de aplicação

Question 6

Qual o procedimento na construcao/avaliacao do instrumento

Answer 6

-Levantamento de necessidades de novo instrumento: porque os existentes não são adequados?
-Conhecimento prévio de instrumentos similares e a sua apreciação (consulta da bibliografia)
-Procedimentos qualitativos de análise e seleção dos itens: o seu conteúdo e o seu formato
-Procedimentos quantitativos de análise e seleção dos itens: frequência e variabilidade das respostas

Question 7

Quais os elementos que temos de ter em conta na elaboracao dos itens?

Answer 7

-Escolha dos indicadores comportamentais ou elementos descritivos da situação ou do construto (conteúdos)
-Definição da sua mensurabilidade (formato dicotómico, likert, resposta aberta…)
-Análise/ confrontação com instrumentos similares

Question 8

Quais os principais erros nas escalas de avaliacao

Answer 8

Efeito de halo -Viés cognitivo que ocorre quando a percepção global de uma pessoa é influenciada pela avaliação de uma única característica ou traço dessa pessoa. Esse efeito pode distorcer a forma como avaliamos o desempenho, comportamento ou características de alguém, levando a generalizações excessivas ou conclusões imprecisas.
Erro tendência central -Viés que ocorre quando os dados coletados tendem a se agrupar em torno de um valor central, como a média, mediana ou moda, devido a influências externas ou falhas no processo de coleta de dados.
Desejabilidade social -Tendência a responder da forma mais aceite socialmente
-A sua ocorrência associada a:
* fraca afirmação pessoal ou necessidade de se conformar
* necessidade de autoproteção, segurança e aprovação social
* necessidade de atenção, obter a simpatia ou ajuda de outro
-A passagem a ranking-scale esbate a desejabilidade social e a tendência central
Enviesamentos na cotação: severidade e leniência -Tendência dos avaliadores em atribuir pontuações que tendem a ser consistentemente altas (leniência) ou consistentemente baixas (severidade) numa escala de avaliação.

Question 9

-Consulta de especialistas e profissionais qualificados
-“Reflexão falada” com grupos de destinatários
tem como vantagens

Answer 9

-identificação de ambiguidades no conteúdo e no formato
-acesso aos processos cognitivos e à informação usados nas respostas
-examinar eficácia das várias alternativas de resposta ou níveis da escala likert
-identificação de itens mal construídos
-identificação de respostas ocasionais, erro tendência central, desejabilidade social…
-adequação das instruções dadas no início (se claras e suficientes)
-estimativa da dificuldades dos itens e do tempo de realização

Question 10

Quais os objetivos da consulta de especialistas

Answer 10

-Apreciação da adequação do conteúdo e formato
-Análise das instruções e dos exemplos
-Relevância e representatividade dos itens
-Definição da “1a. versão” do instrumento

Question 11

em que consiste o metodo de acordo de juizes

Answer 11

-Método na pesquisa qualitativa usado para medir a concordância entre diferentes avaliadores em relação a interpretações ou avaliações de dados qualitativos. Isso é feito comparando as interpretações independentes dos avaliadores, atribuindo categorias aos dados ou chegando a um consenso por meio de discussões estruturadas. Os acordos de juízes são importantes para avaliar a confiabilidade das análises qualitativas e revelar insights sobre a subjetividade dos dados. No entanto, eles também podem ser influenciados por viéses individuais e exigir práticas rigorosas de design e análise para garantir a validade dos resultados.

Question 12

O que devemos definir para o metodo de acordo de juzies

Answer 12

Incidir a análise dos juízes em três vertentes face aos itens ou situações: a sua compreensão; a sua relevância; e a sua representatividade
-Usar uma escala dicotómica ou tipo likert (excluir o ponto intermédio) para os juízes avaliarem
-Calcular a percentagem de acordo; exigir como mínimo 80% de acordo (evitar itens/situações que oferecem dúvidas…)

Question 13

Adaptação/ Construção de instrumentos: quais as
Análise quantitativa que podemos fazer

Answer 13

-estudo da frequência, dispersão e dificuldade (traço latente): conceito e cálculo
-estudo do índice de discriminação ou validade interna: conceito e cálculo
-estudo da validade externas dos itens/ poder preditivo: conceito e cálculo

Question 14

Em que consiste o indice de dificuldade

Answer 14

• utilizada em testes de realização máxima e testes de desempenho para determinar a facilidade ou dificuldade de um item de teste.
  -Utilização: teste de realização máxima, testes de desempenho
  -Percentagem de sujeitos que respondem corretamente ao item

-O valor de “p” indica a facilidade do item. Quanto mais elevado mais fácil é o item. ID= C/N X 100 (p= .75- 75% dos sujeitos acertam o item)

Question 15

Em que consiste o indice de dispersao

Answer 15

Índice de dispersão (variância)- utilizada em testes de realização habitual e escalas de avaliação para avaliar o quão dispersas estão as respostas dos participantes.
-Utilização: testes de realização habitual, escalas de avaliação

-Percentagem de sujeitos que respondem a casa ponto de medida (rating scale)
-Variação: produto das percentagens distribuídas pelos vários pontos da escala likert usada

Question 16

Em que consiste o indice de discriminação

Answer 16

Índice de discriminação (D)/ Poder discriminativo/ Validade interna do item
-Grau em que o item diferencia os sujeitos no mesmo sentido do teste global (ou seja do traço possuído)- mede o grau em que um item de teste é capaz de diferenciar os participantes de acordo com o traço ou habilidade que está sendo avaliado pelo teste como um todo
-Coeficiente de correlação (corrigido ou não) entre a pontuação no item e a pontuação no teste/ escala
-Interpretação da correlação: quanto mais elevada melhor > maior validade interna do item
-Os sujeitos com mais traço respondem mais corretamente ou pontuam mais um item que avalie esse traço: poder discriminativo positivo (evitar poder discriminativo negativo; ponderar as situações de poder discriminativo nulo…)

Question 17

O que se define como valiade externa do item?

Answer 17

Validade externa do item  por validade externa entende-se a relação que existe entras as repostas dos sujeitos a um item e o seu desempenho numa outra situação que não o próprio testes (varável critério). Neste ponto difere do poder discriminativo, daí a razão deste coeficiente ser designado validade interna do item.
Grau em que o resultado do item se diferencia ou se correlaciona com o desempenho ou descrição dos sujeitos noutras variáveis que possam estar relacionadas com o traço avaliado

Question 18

Define sensibilidade dos resultados

Answer 18

Sensibilidade - grau em que os resultados obtidos aparecem distribuídos diferenciando os sujeitos entre si nos seus níveis de realização. Se as características psicológicas apresentam uma distribuição dos sujeitos próxima das leis da curva gaussiana, a sensibilidade tem então a ver coma a adequação dos resultados de acordo com as propriedades da curva

Question 19

Define fiabilidade

Answer 19

Fiabilidade – diz nos algo sobre o grau de confiança ou de exatidão que pode temos terna informação obtida. O conceito apresenta duas significações mais habituais: o testes avalia o meso quando aplicado em dois momentos diferentes aos mesmos sujeitos – estabilidade e constância dos resultados – e os itens que compõem o teste apresentam-se como um todo homogéneo – consistência interna ou homogeneidade dos itens.

Question 20

Define validade

Answer 20

Validade – Em que medida os resultados de um teste estão a medir aquilo que pretendem medir, sendo este so sentido tradicional. Em segundo lugar, o termo significa o conhecimento que possuímos daquilo que o estes esta a medir

Question 21

Em que consistem os processos de analise da sensibilidade

Answer 21

Os procedimentos de analise da sensibilidade dos resultados são diversos, embora todos ligados a questão de normalidade ou não-normalidade da distribuição dos resultados em analise.

Question 22

O que deve ser observado entre a media e a mediana

Answer 22

Colocação da média e mediana no intervalo ou leque de resultados possíveis, que se sobrepõe numa perspetiva gaussiana ou normal.
Objetivo – não se afastarem muito um do outro

Question 23

Quais os valores ideias de desvio padrao, os resultados onde se encontram

Answer 23

Um valor ideal para o desvio-padrão são a de que os resultados se distribuam acima e abaixo da média numa amplitude de 2 ou 3 unidades de desvio-padrão.
Cerca de 68% dos dados estão dentro de 1 desvio padrão da média.
Cerca de 95% dos dados estão dentro de 2 desvios padrão da média.
Cerca de 99,7% dos dados estão dentro de 3 desvios padrão da média.
Desvio Padrão – O desvio padrão é uma medida de dispersão que indica o quanto os valores de um conjunto de dados estão espalhados em relação à média. É uma medida comum de dispersão em torno da média e é usado para avaliar a variabilidade ou a consistência dos dados. Um desvio padrão maior indica uma maior dispersão dos valores em relação à média, enquanto um desvio padrão menor indica uma menor dispersão

Question 24

Define IQR e para que serve

Answer 24

Intervalo interquarlitico - O intervalo interquartílico (IQR) é uma medida de dispersão que descreve a faixa em que está concentrada a maioria dos valores de um conjunto de dados. É calculado como a diferença entre o terceiro quartil (Q3) e o primeiro quartil (Q1) de uma distribuição de dados. O IQR é menos sensível a valores extremos (outliers) do que o desvio padrão, tornando-o uma medida robusta de dispersão. É frequentemente usado para identificar valores atípicos em um conjunto de dados, uma vez que define uma faixa interquartílica dentro da qual a maioria dos dados está concentrada.
O intervalo interquartilico por sua vez permite-nos identificar qual o local onde a concentração de valores é maior - o IQR é uma ferramenta valiosa para entender a distribuição e a densidade dos dados em torno da mediana, especialmente quando se quer ter uma ideia da concentração de valores em uma faixa específica.

Question 25

O que mede a assimetria e em que sentido se distribui

Answer 25

A assimetria indica a falta de simetria na distribuição dos dados. Em uma distribuição simétrica, a média, a mediana e a moda estão todas no mesmo ponto. Quando uma distribuição é assimétrica, essas medidas centrais podem estar em locais diferentes.
Se a assimetria for positiva, a cauda da distribuição estará mais alongada para a direita, o que significa que há mais valores à esquerda da média e poucos valores maiores que a média.
Se a assimetria for negativa, a cauda da distribuição estará mais alongada para a esquerda, indicando que há mais valores à direita da média e poucos valores menores que a média.

Question 26

O que indica a curtose

Answer 26

A curtose mede a forma da distribuição dos dados, especificamente o quão “achatada” ou “pontuda” é a distribuição em relação a uma distribuição normal.
Uma curtose positiva indica que a distribuição é mais pontuda e concentrada em torno da média do que a distribuição normal (mesocúrtica).
Uma curtose negativa indica que a distribuição é mais achatada e dispersa do que a distribuição norma

Question 27

Quais os valores ideiais de curtose e assimetria

Answer 27

É ideal que os valores não se afastem de zero, ou pelo menos não ultrapassem a unidade
Quando a assimetria é significativamente diferente de zero, isso sugere uma distribuição assimétrica, onde os valores tendem a se agrupar mais para um lado ou outro da média. Isso pode afetar a interpretação dos resultados e introduzir vieses nas análises estatísticas.
Uma curtose muito alta (pontiaguda) ou muito baixa (achatada) pode indicar que os dados têm caudas extremas, o que pode afetar a interpretação estatística, especialmente em relação à probabilidade de valores extremos.
Em resumo, valores próximos de zero ou limitados em magnitude para assimetria e curtose são considerados ideais porque indicam que os dados seguem uma distribuição mais próxima da distribuição normal, o que facilita a interpretação estatística e reduz a probabilidade de viés nos resultados.