Up.pt vs Usabilidade - Teste com Utilizadores

Foram criadas 3 tarefas e analisados 3 utilizadores diferentes (todos eles multimédicos).

Tarefas:

1. Informação sobre o gabinete UPIN – Universidade do Porto inovação
2. Data das provas de Doutoramento Mestre Patricia Antunes
3. Numero de telefone SOS da U.Porto


Tarefa 1 Informação sobre o gabinete UPIN
Apenas 2 passos: Inicio > I&D(1) > UPIN(2)

Utilizador 1
Passo1: 3cliques até acertar.
Passo2: apenas 1 clique
Tempo: 35 seg
Obs: A principio um bocado perdido pelo interface, estudou muito todos os menus antes de clicar...cobaia já sabia que estava a ser avaliada! No entanto completou a tarefa num tempo relativamente satisfatório.

Utilizador 2
Passo1: apenas 1 clique
Passo2: 2 ciques até acertar
Tempo: 1 min 03 seg
Obs: Totalmente perdido. Estudou todas as opções que tinha antes de avançar. Outro que sabia que estava a ser avaliado.

Utilizador 3
Passo1: 5 cliques, ou seja 1 erro + 1 clique até acertar
Passo2: apenas 1 clique
Tempo: 1min e 58 seg
Obs: Visualizou todas as possibilidades antes de avançar e mesmo assim ainda deu um erro.

Tarefa 2 Data das provas de Doutoramento Mestre Patricia Antunes
Caminho mais rápido e lógico: Inicio > Comunicação (1) > Noticias (2) > Provas Académicas (3) > Mestre Patricia Antunes (4)

Utilizador 1
Passo1: 2 erros (10cliques) + 1
Passo2: 1 erros (5 cliques) Desistiu
Tempo: 2 min 38 seg até à desistência
Obs: Navegação totalmente aleatória sem qualquer noção da direcção correcta.

Utilizador2
Passo1: 3 cliques e desistiu
Tempo: 1min 38 seg
Obs: O utilizador mexeu com o rato pelo ecran todo, suspirou e disse “isto não está nada perceptivel!”

Utilizador3
Passo1: erro mais 1 clique
Passo2: 1 clique
Passo3: 1 clique
Passo4: 1 clique
Passo5: 1 clique
Tempo: 3 min e 10 seg
Obs: O utilizador descobriu um caminho diferente que aquele estabelecido. Foi então por um caminho mais complicado e teve também dificuldades em ler, em alguns passos o texto aparece muito condensado e com uma hierarquização pouco perceptivel, dificultou a tarefa ao utilizador o que causou mais demora.

Tarefa 3 Número de telefone SOS da U.Porto
Caminho mais rápido: Inicio > Pessoal (1) > Linha SOS (2)

Utilizador1
Passo1: 3 erros (15 cliques) 1 clique
Passo2: 1 clique
Tempo: 5 min
Obs: Tirando os erros, o utilizador deu 2 cliques até chegar ao destino mas demorou demasiado tempo percorrendo quase todo o site. O utilizador perdeu-se muitas vezes e recorreu ao mapa do site mas sem sucesso.

Utilizador2
Passo1: 1 erro e 1 clique
Passo2: 1 clique
Passo3: 1 clique
Passo4: 1 clique
Tempo: 3 min e 10 seg
Obs: O utilizador chegou ao destino por um caminho diferente. Apresentou dificuldades em ler a informação.

Utilizador3
Passo1: 3 cliques
Passo2: 1 clique
Tempo: 56 seg
Obs: Observou sempre atentamente a primeira página.

Conclusões:

Os utilizadores testados por norma perderam-se bastante não achando o website perceptivel ou intuitivo. Mesmo as tarefas mais faceis com menos passos tiveram tempos demasiado extensos. Também a dificil percepção de menus secundários e dificuldades de leitura não contribuiem para o bom funcionamento do sistema.
Com estes testes pode-se afirmar que a organização da informação não é a mais correcta. Os utilizadores têm dificuldade em chegar ao seu destino e não sabem por onde começar a procurar. Note-se que os utilizadores testados, ao serem jovens estudantes do curso deJornalismo e Ciências da Comunicação – vertente de Comunicação Multimédia, estão familiarizados com a internet e com o sistema sigarra, mesmo assim tiveram dificuldades em completar as tarefas pedidas chegando mesmo a haver desistências. A usabilidade deste sistema deve ser repensada a fim de conseguir responder às expectativas de todos os seus utilizadores, estejam eles familiarizados com o sistema ou não.

Up.pt vs Usabilidade

O sistema SIGARRA nasceu em 1992 na faculdade de Engenharia da Universidade do Porto. Com o desenvolvimento do sistema, a Universidade do Porto decidiu adoptar o SIGARRA como elemento de consistência na web entre as faculdades. No entanto as excepções existem, nomeadamente a Faculdades de Ciências e Belas Artes com interfaces diferentes (esta ultima possui SIGARRA mas adoptou uma imagem inicial diferente).
Criando a ponte para o meu trabalho de projecto para a disciplina de EAM, que se vai centralizar numa nova imagem para a U.Porto com acessibilidade e usabilidade garantida, inicio o meu estudo de usabilidade com uma avaliação heuristica (metodo empirico) e testes com uilizadores (metodos não-empiricos).

Relembrando então as 10 heuristicas de Jacob Nielson:

• Visibilidade do estado do sistema
• Ajuste entre o sistema e o mundo real
• Controlo e liberdade do utilizador
• Consistência e standards
• Ajuda aos utilizadores para reconhecerem, diagnosticarem e recuperarem de erros
• Prevenção de erros
• Reconhecimento em vez de lembrança
• Flexibilidade e eficiência no uso
• Estética e design minimalistas
• Ajuda e documentação


1. Visibilidade do estado do sistema

Conformance Question
O que deve o sistema fazer para satisfazer o principio?
Os utilizadores são informados do estado do sistema com o feedback apropriado num espaço de tempo razoável?
Que meios estão disponiveis para informar, orientar e conduzir o utilizador durante a interacção?

Evidence of Conformance
Existe um problema de visibilidade no up.pt. a hierarquização da informação não foi feita devidamente o que baralha bastante um utilizador que não esteja familiarizado com o sistema. A interacção disponivel, na primeira página, são 3 pequenos banners com algum evento próximo com ou sem movimento e nos menus ou links (on mouseover) com uma tenue mudança nos já tons pastel do website.
De realçar a pequena barra de localização, que indica sempre ao utilizador que caminho percorreu e onde se situa. Isto ajuda bastante os usuários um vez que como se trata de um sistma complexo e com bastante informação é provavél que se desoriente. No entanto a barra está pouco visivel.

Motivation
Ao satisfazer esta heuristica, é possivel orientar o utilizador pelo website. A interacção devidamente utilizada ajuda a estabelecer laços com os utilizadores, um factor que considero muito importante, visto que se trata de um website de uma universidade.

2. Ajuste entre o sistema e o mundo real

Conformance question
O sistema utiliza conceitos e linguagens familiares para o utilizador em vez de linguagens mais tecnicas?
Usa convenções da vida real e dispõe a informação numa ordem lógica e natural?


Evidence of Conformance
A linguagem usada é na sua maioria acessivel a todos. No entanto, destaco o uso da sigla “I&D” investigação e desenvolvimento, constantemente ao longo do website. Ora isto obriga a que todo o utilizador saiba o que “I&D” signifique, e não será o caso. Alerto também para o facto de algumas noticias, mesmo sendo para uma comunidade mais especifica e cientifica da U.Porto, estarem disponiveis só em inglês. Todo o conteudo deveria estar disponivel pelo menos em 2 idiomas.
Existe um exemplo claro de um correcto uso duma convenção da vida real que é o grande sinal de proibido, utilizado no sinais de transito, usado quando existe algum erro por parte do utilizador.
Quanto à organização da informação, esta não segue sempre uma ordem lógica e natural. Ao navegarmos pelo sistema, é frequente aparecerem opções novas no lado direito e pode confundir o utilizador com tantas opções.

Motivation
Esta heuristica facilita a navegação e a compreensão do sistema. As convenções com o mundo real podem tornar-se extremamente eficazes.

3. Controlo e liberdade do utilizador

Conformance Question
Os utilizadores conseguem fazer o que querem quando querem?
Que controlo tem o utilizador sobre as suas acções?

Evidence of conformance
O utilizador tem liberdade para ir onde quiser em todo o sistema.Pode fazer download de uma serie de ficheiros, pesquisar pessoal, etc. É possivel voltar atrás ou ao menu inicial através da barra de localização.
Com autenticação no up.pt, o utilizador acede a um nivel diferente de navegação, com mais opções, menus, conteudos, etc. No entanto mesmo dentro da autentificação existem diferenças entre alunos e docentes por exemplo.

Motivation
O utilizador deve ter controlo sobre as suas acções. Mantendo-se sempre capaz de se dirigir ao inicio ou sair do sistema quando desejar.

4. Consistência e Standards

Conformance Question
Existe homogeneidade e coerência nos diferentes elementos do interface?

Evidence of Conformance
O interface do sistema apresenta consistência entre os elementos.No entanto, a quantidade excessiva de links externos para outras pagina SIGARRA não é agradável para o utilizador.

Motivation
A consistência permite que uma comunidade mais vasta consiga navegar no sistema, não precisam depender da experiência que teêm com outros sistemas para perceber outro. A ISO têm um papel fundamental a nivel mundial no que diz respeito a standards. Apresenta as melhores soluções para uniformizar produtos, sistemas, etc.

5. Prevenção de erros

Confomance Question
Que mecanismos existem para evitar ou reduzir a ocorrência de erros?

Evidence of Conformance
O up.up fornece ao utilizador uma quantidade de caminhos e possibilidades enorme de chegar a uma determinada informação que por si só já faz com que o utilizador se perca. Os erros também não são prevenidos uma vez que o utilizador não sabe bem onde se dirigir para encontrar a sua informação – penso que a falta de um motor de busca geral seria uma solução.

Motivation
Os erros são a maior falha que um sistema pode ter e a maior causa de frustração para utilizadores da internet. Ao evitar e minimizar erros está-se a contribuir para as expectativas dos utilizadores.

6. Reconhecimento em vez de lembrança

Conformance Question
Estão as opções, elementos e acções bem visiveis ao utilizador?
São reconhecidos em vez de recorrer à memória do utilizador?

Evidence of conformance
Infelizmente o utilizador para chegar a uma determinada informação tem de recorrer às suas lembranças. O facto de as opções aparecerem do lado esquerdo, direito, em cima e mesmo assim não estarem bem assinaladas faz com que o utilizador se perca e não reconheça o caminho que tem de percorrer.

Motivation
Ao satisfazer esta heuristica a eficacia e a eficiencia são comprovadas. O reconhecimento vai ao encontro das expectativas do utilizador.

7. Flexibilidade e eficiência no uso

Conformance Question
O sistema adapta-se ao contexto e às preferências do utilizador? Existem atalhos?

Evidence of conformance
Não são disponibilizados atalhos para os principais menus, algo que poderia ser bastante util na primeira página.
Existe um mapa das páginas do website mas apenas contem os 2 primeiros niveis da sua estrutura densa.
Para as pessoas registadas é possivel elaborar uma lista de atalhos rápidos.

Motivation
A eficiência no uso facilita e entusiasma os utilizadores a utilizar mais dedicadamente o website. A criação de atalhos para todo o público do website é uma boa aposta. Flexibilidade e eficiência devem ser fornecidos a todos.

8. Estética e design minimalistas

Conformance Question
Existem elementos que possam dificultar ou facilitar a leitura e a compreensão da informação?

Evidence of conformance
Como já referi anteriormente, a falta de hierarquização da informação por vezes põe para segundo plano opções ou informações importantes.
A quantidade excessiva de texto corrido e por vezes com o tamanho de fonte pequeno dificulta bastante a leitura da informação.

Motivation
É importante facilitar a leitura e compreensão da informação senão o proprio sistema perde o seu objectivo na web. De que serve um website se não é compreendido pelos seus utilizadores?

9. Ajuda aos utilizadores para reconhecerem, diagnosticarem e recuperarem de erros

Conformance Question
O sistema ajuda os utilizadores a evitarem erros e a recuperarem destes?
São as mensagens de erros trasmitidas claramente ao utilizador , descrevendo o problema e sugerindo soluções?

Evidence of conformance
Quando existe uma àrea “off-limits” o utilizador é bem informado do sucedido e aconselhado ou a voltar atrás ou a fazer a autenticação no website.
A barra de localização, apesar de não muito visivel, pode ajudar o utilizador a eviar erros e voltar atrásno seu percurso.

Motivation
A barra de localização deveria ser mais visivel a fim de evitar erros, enganos e frustrações por parte dos utilizadores.


10. Ajuda e Documentação

Conformance Question
Está a ajuda apropriada disponivel ao utilizador? É facil de aceder? Está orientada para a acção do utilizador?

Evidence of conformance
A ajuda e documentação do up.pt está totalmente disponivel ao utilizador e fácil de aceder.
Existe uma ajuda contextual direccionada para qualquer duvida de navegação que os utilizadores tenham, explicando o que significam todos os elementos e icons no interface e os seus estados.


Motivation
É essencial ter uma zona de respostas a duvidas frenquentes e que ajude na orientação pelo website.

falha de consistência

Numa pesquisa a 2, eu e a minha colega Filipa, estavamos alegremente a discutir directrizes...e pontos de verificação, com o propósito de aprofundarmos o nosso conhecimento ao mesmo tempo em que nos familiarizamos com toda esta "nova" linguagem, encontramos um pequeno (?) erro:

Ao verificarmos um dos pontos de verificação para a Directriz 3, nomeadamente o ponto 3.4 eu no website da UTAD e a Filipa no ACESSO encontramos isto:

UTAD

3.4 Utilizar unidades absolutas, e não relativas, nos valores dos atributos da linguagem de anotação e nos valores das propriedades das folhas de estilo. [Prioridade 2]
Por exemplo, em CSS, utilizar 'em' ou percentagens em vez das unidades absolutas 'pt' ou 'cm'. Se forem utilizadas unidades absolutas, há que verificar se o conteúdo reproduzido é utilizável

ACESSO

3.4 - Use unidades relativas em vez de absolutas nos valores dos atributos da linguagem de notação e valores das propriedades das folhas de estilo.
Por exemplo, em CSS, use 'em' ou dimensões em percentagem em detrimento de 'pt' ou 'cm', as quais são unidades absolutas. Se utilizar unidades absolutas, valide se o conteúdo fornecido é usável verificando o seu resultado em vários navegadores ou sistemas.

Um diz unidades relativas outro diz unidades absolutas! e qual a verdade absoluta? ou relativa?

Vale a pena pensar nisto... (e verificar sempre os pontos de verificação em vários sites!!)

2º artigo | Avaliações

Continuando com a análise do mesmo website da Administração Pública do ultimo post - Direcção Geral de Impostos, testamos o website com avaliações automática e manual.

Utilizando a ferramenta de análise Hera, disponível online, a avaliação automática identifica erros, mostra a localização do erro quer na página quer no código fonte. Isto facilita bastante a futura avaliação manual, já que podemos posteriormente localizar mais facilmente os erros.
Apesar de a ferramenta da avaliação usada permitir uma análise automática de qualidade, a avaliação manual não pode ser dispensada. É necessário cruzar informações com uma ferramenta de análise manual, leitura áudio do ecrãn, por exemplo.

Analisando o website da DGCI automaticamente com a ferramenta Hera, obtemos os seguintes resultados:

• Apenas 5 pontos identificados como correctos
• 10 pontos considerados errados
• 8 pontos não aplicáveis
• 43 pontos para verificar

Dos 5 pontos considerados correctos nenhum é de prioridade 1.

Dos 10 considerados errados, um foi de prioridade 1, o que significa que é considerado o mais grave que é o não fornecerequivalente textual para todo o elemento não textual, nomeadamente imagens, gifs, etc. Isto é um erro fucral, principalmente quando se usam imagens como botões. Se esses botões não fornecem texto alternativo, não têm o atributo ALT definido, como é que uma pessoa com problemas visuais, que depende de uma leitura audio do ecrãn, sabe que ali existe um botão?

Outro dos erros encontrados pelo HERA foi a falta de CSS’s para controlar a forma de apresentação. Ou seja, ainda são usados elementos html para controlar certas caracteristicas da apresentação, por exemplo “image border”. Este uso dos elementos html para controlar a apresentação pode prejudicar a leitura do ecran.

Outro erro muito grave também é o facto de a página principal da DGCI possuir uma pesquisa mas essa mesma pesquisa não possuir indicações no seu html de que ali se encontra um campo de formulário. Ou seja, quem utilizar uma leitura audio do ecrãn, não poderá saber que ali se pode pesquisar alguma coisa introduzindo texto. Considero este erro um erro muito grave...como pode uma pesquisa não estar acessivel a todos??

Outros erros encontrados é o uso excessivo de tabelas e estas sem atributos identificativos, e também o ausencia do atributo acesskey, teclas de atalho para os links mais importantes da página.

Passando agora para a análise manual, combinando a ferramenta JAWS com o browser Opera, posso afirmar, apartir da minha experiência, que é absolutamente impossivel navegar na página da DGCI.

(Aliás, o tardio post deste artigo, deve-se ao facto de eu ter tido dificuldades com o manuseamento destas ferramentas. Não consegui por o comando CTRL+G, para a desformatação da página a funcionar! Todos os outros comandos funcionaram menos este...instalei e desinstalei o Opera para ver se qual o problema...mas nada..)

Voltando à análise manual, ao avançarmos com a tecla A e Q, passamos mais de metade da informação da primeira página à frente. O que o JAWS lê é o menu lateral, os tópicos das noticias e da legislação e os links em baixo como privacidade e mapa do site. No entando se navegarmos pela tecla D e E, de elemento em elemento, já podemos ler muito mais informação. O JAWS vem confirmar o que o HERA confirmou, a pesquisa é totalmente ignorada, assim como as imagens e botões que são imagens. Para passar por estas imagens que não têm atributo alt é necessário carregar no E uma dezena de vezes....!

Mesmo assim esta leitura é demasiado confusa para quem tem deficiências na visão. O facto de os conteudos estarem inseridos em tabelas e de existirem celulas que não têm qualquer informação baralha bastante a navegação.

Utilizando outro programa de leitura de ecrãn, que na minha opinião funciona muito melhor que o JAWS e Opera juntos é o AudioBrowser desenvolvido pela Universidade do Minho. Este programa consegue ler muito mais que o JAWS. Este já lê muito mais informação e embora não leia os botoes que são imagens, identifica-os como imagens e lê o endereço para onde os encaminha. Também o uso de 2 vozes diferentes uma para os menus e informação principal e outra para subsecções.

A estrutura da página aparece automaticamente discriminada no lado esquerdo como os “favoritos” aí é possivel navegar com apenas as teclas para cima, para baixo e enter!

2º artigo | avaliação automática & avaliação manual

Continuando com a análise do mesmo website da Administração Pública do ultimo post - Direcção Geral de Impostos, testamos o website com avaliações automática e manual.

Utilizando a ferramenta de análise Hera, disponivel online, a avaliação automática identifica erros, mostra a localização do erro quer na pagina quer no codigo fonte. Isto facilita bastante a futura avaliação manual, já que podemos posteriormente localizar mais facilmente os erros.
Apesar de a ferramenta da avaliação usada permitir uma análise automática de qualidade, a avaliação manual nao pode ser dispensada.

Para um correcto cruzamento de ambas as análises a republicação do artigo fica (mais uma vez) adiada!

Até breve

1º artigo - manual de boas práticas [01]

Tendo como pano de fundo o "Guia de Boas Práticas na Construção de Web sites da Administração Pública Directa e Indirecta do Estado", esta primeira petição on-line pela Acessibilidade da Internet Portuguesa para a Administração Pública dá as primeiras directrizes para o bom aproveitamento e bom funcionamento de um web site para a AP. Analisando o web site da Direcção Geral de Impostos do Ministério das Finanças podemos afirmar que existiu um cuidado especial com este web site já que se trata de um portal importante para todos os contribuintes.

O website apresenta a informação prevista como minima e indispensável: identificação do organismo, missão e descrição de actividades, politicas de privacidade e de responsabilidade, bem como a sua estrutura organizacional. De bastante relevância são também as FAQ's que, neste website da Administração Pública, se encontram distribuídas por várias secções. É possível obter informações sobre diplomas legislativos e códigos tributários certamente as informações mais procuradas pelos utilizadores que acedem a este website.

A actualização deste website tem de ser, obrigatoriamente constante. De que vale ter um website da Administração Pública com a função de servir a comunidade se não se assumir esse compromisso? A actualização da informação, actualizações legislativas, actualidade dos impostos, bem como a sua origem, data de criação e publicação devem estar sempre presentes e também sempre visíveis ao utilizador.
Nesta questão da actualização torna-se também muito importante a própria actualização do website. Está provado que os "broken links" são dos motivos pelos quais os utilizadores deixam de visitar determinada página. Relativamente ao DGCI, este caso não se confirma. Todos os links funcionam.
No que diz respeito a links externos, que são uma lista considerável, nem todos abrem novas janelas, o que pode não ser o mais correcto, visto que o utilizador será obrigado a carregar no botão do browser “back” para voltar à DGCI.

A informação está disposta de forma clara para uma assimilação correcta e fácil. Devido à quantidade de informação o website da DGCI pode-se tornar confuso duma primeira utilização ou para pessoas com debilitações. No entanto a linguagem é clara para correcta interpretação, e a imagem do website é uniforme e consistente no seu todo.

No website da DGCI o motor de busca encontra-se correctamente na homepage e este realiza pesquisa a dois níveis: páginas e documentos. Uma pesquisa bastante útil para os utilizadores.
O website é compatível com pelo menos 2 dos browsers mais populares (Internet Explorer e Mozilla Firefox) o que abrange mais utilizadores. A navegação pode ser feita numa resolução gráfica mínima de 800x600, com uma resolução menor as barras de scroll horizontais aparecem.

A rapidez de download é também bastante importante se primamos por um acesso à informação para todos os cidadãos. É necessário considerar que nem todos os cidadãos possuem Internet, muito menos Internet de banda larga. É fundamental então que o download da homepage e dos conteúdos seja rápido e eficaz. A DGCI tem downloads superiores a 8 segundos.

Para melhorar o serviço ao cidadão, o organismo da AP, no seu website, deve ter disponível todos os formulários utilizados. Estes deverão estar ao dispor dos cidadãos para download e versão impressa. Para além dos formulários, os respectivos guias de auxílio ao preenchimento devem estar disponíveis. A interacção on-line e o feedback têm aqui um papel preponderante. A DGCI não possibilita a interacção on-line, apenas disponibiliza um numero de apoio.

Relativamente a acessibilidade, testado o website da DGCI recorrendo ao sistema WebXACT, podemos verificar que o website não está preparado para cidadãos com condições especiais.
As falhas mais graves (prioridade 1) são a de não providenciar texto alternativo para as imagens existentes e para as imagens botões. Isto traduz-se num grave problema para utilizadores que dependam de periféricos diferentes para terem acesso à informação. Para pessoas que dependam de periféricos sonoros, ou de leitura Braille, a não inserção de texto alternativo pura e simplesmente bloqueia o acesso à informação. Outros erros existentes: falta de legendas, elemento TAG; links com algum texto não explícitos da ligação que possuem e não deveriam ser repetidos;

O website à primeira vista parece acessível a todos mas quando analisado profundamente, verifica falhas ao nível de markup language, dificultanto o acesso a utilizadores com necessidades especiais.

1º Artigo - Guia das Boas Práticas

Tendo como pano de fundo o "Guia de Boas Práticas na Construção de Web sites da Administração Pública Directa e Indirecta do Estado", esta primeira petição on-line pela Acessibilidade da Internet Portuguesa para a Administração Pública dá as primeiras directrizes para o bom aproveitamento e bom funcionamento de um web site para a AP. Analisando o web site da Direcção Geral de Impostos do Ministério das Finanças podemos afirmar que existiu um cuidado especial com este web site já que se trata de um portal importante para todos os contribuintes.

O web site apresenta a informação prevista como minima e indispensável: identificação do organismo, missão e descrição de actividades, bem como a sua estrutura orgazinacional.

Republicação para breve.