Raportoi havaittu vaihteluväli, epävarmuus, otoksen laajuus ja menetelmän rajoitukset pakottamatta esiin voittajaa tai väittämättä vastaavuutta.
Raportoi tulos ennen sen tulkintaa
Kun vertailu ei osoita ilmeistä eroa, esitä havaitut tulokset yhteisissä testiolosuhteissa ja totea, että saatavilla oleva näyttö ei tue selkeää paremmuusjärjestystä. Tämä on tarkempaa kuin voittajan väkisin nimeäminen, sillä pienet havaitut erot voivat johtua otantavaihtelusta, mittausepävarmuudesta tai menetelmän rajoituksista eivätkä luotettavasta suorituskykyerosta.
Esityksessä on ilmoitettava, mitä verrattiin, mitkä olosuhteet pidettiin samoina, mikä oli otoksen laajuus sekä havaintojen vaihteluväli tai jakauma. Jos mittausepävarmuus on merkityksellinen, se on ilmoitettava tuloksen yhteydessä tai selitettävä menetelmään sopivin termein. NIST Technical Note 1297 tarjoaa yleisiä ohjeita mittausepävarmuuden arviointiin ja ilmaisemiseen, mutta se ei tarjoa näyttöä mistään tietystä tuotteesta.
Älä muunna epäselvää näyttöä vastaavuudeksi
Riittämätön näyttö erosta ei todista, että kaksi tuotetta ovat samanarvoisia. Vastaavuus edellyttää määriteltyä hyväksyttävää marginaalia ja vertailua, joka on suunniteltu tämän kysymyksen arviointiin. Ilman näitä tekijöitä asianmukainen johtopäätös on suppeampi: tämä aineisto ja menetelmä eivät osoittaneet selvää eroa.
Myös otannan rajat ovat tärkeitä. NIST Engineering Statistics Handbook toteaa, että hyväksyntäotanta tukee ensisijaisesti päätöstä siitä, onko määritelty erä todennäköisesti hyväksyttävä; sitä ei ole tarkoitettu erän yleisen laadun arviointiin. Samoin rajattua vertailua ei pidä yleistää edustettujen otosten, versioiden tai erien ulkopuolelle.
Tee rajoituksista osa tulosta
Läpinäkyvässä vertailussa ilmoitetaan rajoitukset, kuten otoskoko, puutteelliset kontrollit, rajattu testialue tai niin suuri epävarmuus, että se voi peittää eron. Tulokset, jotka eivät vastaa markkinointiodotuksia, on säilytettävä eikä piilotettava. Lopetuslauseessa voidaan ilmoittaa, mikä lisänäyttö parantaisi erottelukykyä, mutta nykyinen tulos säilytetään: testi ei osoittanut voittajaa, samanarvoisuutta tai paremmuutta.