Dans le cadre de UWEM, les déclarations de conformité doivent faire référence à une liste des ressources évaluées sur l'étendue du/des site(s) Web. Cette section donne les définitions de base pour les différents concepts utilisés.
Selon les besoins des différentes applications de UWEM, cette liste de ressources peut être spécifiée par une variété de participants différents au processus d'évaluation, comme par exemple un propriétaire de site, un rédacteur de site, un organisme d'inspection etc. Ce document explique simplement comment une telle liste doit être exprimée de façon non équivoque.
Pour la méthode UWEM, un site Web est défini comme un regroupement arbitraire de ressources Web en hyperliens, dont chacune est identifiée par la procédure décrite à la section 4.1 (Définitions).
Le but de UWEM est de garantir la réplicabilité des résultats. Par conséquent, il est d'une grande importance pour l'agrégation et la comparaison des résultats que la définition des ressources testées soit sans ambiguïté. Par conséquent, des déclarations de conformité du type "http://exemple.org/ est conforme à la priorité 1 de WCAG 1.0" sans précision sur la définition du site exemple.org (cad, ses ressources) ne peut pas être acceptée.
Par ailleurs, en tenant compte du fait du nombre important de logiciels de sélection de ressources Web et du fait qu'ils utilisent des technologies différentes, ce n'est pas possible de vérifier l'exactitude de leurs sélections. De plus, les différents RFCs sur les Noms de Domaine laissent possible toutes les interprétations sur la définition des sous-domaines.
Par conséquent, en ce qui concerne les déclarations de conformité pour UWEM 1.0, la définition d'un site Web doit être exprimée par une liste de ressources (voir l'annexe C).
En général, il ne sera pas réalisable de tester toutes les ressources du site Web selon tous les critères d'évaluation. Par conséquent, après avoir déterminé et sélectionné une liste de ressources à évaluer et le niveau de conformité visé, nous proposons d'identifier un certain nombre de pages ou d'"échantillons".
Les ressources à sélectionner devraient inclure la liste des ressources essentielles complétée par une sélection de ressources arbitraires. Nous appelons cette dernière la liste des ressources échantillonnées.
La liste des ressources essentielles est une série de ressources génériques, probablement présentes sur la plupart des sites Web, et qui sont essentielles pour l'utilisation et l'évaluation de l'accessibilité d'un site. Par conséquent, la liste des ressources essentielles représente une série de ressources qui doivent être incluses dans toute évaluation de l'accessibilité du site. La liste des ressources essentielles ne peut généralement pas être identifiée de façon automatique mais nécessite un jugement humain pour sa sélection. Dans le cas de tests complètement automatiques, comme par exemple, dans un observatoire, la liste des ressources essentielles peut être déterminée par des méthodes heuristiques. La liste des ressources essentielles doit contenir toutes les ressources suivantes si elles sont applicables :
Naturellement, chacune des ressources peut appartenir à plus d'une des catégories mentionnées ci-dessus : il est simplement nécessaire que toute la liste des ressources essentielles, dans la mesure du possible, traite collectivement tous les objectifs applicables de sélection. Toute ressource donnée doit apparaître seulement une fois dans la liste des ressources essentielles.
Une liste de ressources échantillonnées est un ensemble qui peut être généré par un outil automatique à partir d'une sélection donnée. Une liste de ressources échantillonnées pourrait être typiquement utilisée dans le contexte d'évaluations effectuées sur un grand nombre de sites (uniquement selon des critères automatiques) où il n'est pas faisable ou nécessaire d'évaluer la totalité des pages Web pour chaque site [8]. Si une méthode de sélection est utilisée, alors le résultat de la sélection doit être représentatif et sans ambiguïté, ce qui signifie qu'il doit être une sous-liste aléatoire du nombre total de ressources. La liste des ressources échantillonnées pour une évaluation automatique à grande échelle doit donc utiliser un algorithme de sélection qui sélectionne la série des ressources à l'aide d'un algorithme de sélection uniforme aléatoire ou presque uniforme aléatoire [HENZINGER00], ou une liste d'échantillons aléatoires issue de la liste complète des pages Web (à condition que la liste complète des pages Web soit disponible) [9]. La méthode d'agrégation de UWEM de la section 6 s'applique au niveau d'une page Web, c'est pourquoi chaque unité d'échantillon doit ressembler à la série de ressources Web qui constituent ensemble un rendu de page Web.
La marge d'erreur de l'intervalle de confiance de 95% de la valeur moyenne des échantillons agrégés pour un site Web, à l'aide de la méthode d'agrégation UWEM de la section 6, doit être clairement indiquée dans les résultats des tests. Le choix est laissé aux vendeurs d'outils de présenter la marge d'erreurs pour chaque site Web ou d'effectuer une sélection pour une marge d'erreurs donnée [10], afin de présenter une seule fois la marge d'erreurs maximale [11].
La marge d'erreurs m d'un intervalle de confiance est définie comme la valeur ajoutée ou soustraite au moyen de l'échantillon déterminant la longueur de l'intervalle :

Figure 2: marge d'erreurs m d'un intervalle de confiance
Où z=1.96 pour un intervalle de confiance de 95% et sigma est la déviation standard des échantillons agrégés pour le site Web à l'aide de la méthode d'agrégation de la section 6.
Il est à noter que l'algorithme de sélection utilisé ainsi que toute autre restriction limitant ou faussant le résultat, incluant, mais non limité à la liste de restrictions citées ci-dessous doit être indiqué explicitement dans tout rapport d'évaluation :
En alternative à la méthode décrite ci-dessus, et particulièrement appropriée pour les tests expert, nous autorisons une sélection manuelle du nombre minimum de ressources. Ce nombre minimum de ressources dans la liste de ressources échantillonnées dépend de la taille estimée du site Web.
La taille minimum de l'échantillon est de 30 ressources uniques (si disponibles) en ajoutant 2 ressources uniques pour 1000 ressources distinctes supplémentaires jusqu'à un maximum de 50 ressources dans la liste des ressources sélectionnée. Ce nombre est arbitraire. Des recommandations plus détaillées pour les tailles des échantillons seront ajoutées dans une version future de UWEM et se baseront largement sur les résultats des expériences au sein des projets EIAO et BenToWeb.