Otoskoolla on merkitystä, mutta valintamenetelmä, erän määritelmä, kattavuus, mittausten laatu ja analyysi määrittävät, mitä suurempi otos voi asianmukaisesti tukea.
Useammat havainnot eivät automaattisesti ole parempaa näyttöä
Ei. Otoskoon kasvattaminen voi vähentää satunnaista epävarmuutta, kun havainnot ovat olennaisia, ne mitataan johdonmukaisesti ja ne valitaan sopivalla menetelmällä. Se ei voi automaattisesti korjata vääristynyttä otosta. Jos monet yksiköt otetaan yhdestä helposti saatavilla olevasta paikasta, yhdeltä tuotantojaksolta tai tarkoituksellisesti suosituista ryhmistä, lisähavainnot voivat toistaa saman valintaharhan sen sijaan, että ne edustaisivat koko erää.
Valinta ja rajaus muovaavat johtopäätöstä
Hyödyllinen arviointi alkaa määrittelemällä perusjoukko tai erä, jota johtopäätös koskee. Otoksen lähteen, valintamenettelyn, ajoituksen, poissulkemisten ja kyseiseen perusjoukkoon liittymisen on oltava selkeitä. Satunnaisotanta voi auttaa estämään henkilökohtaisten mieltymysten vaikutuksen siihen, mitkä yksiköt päätyvät otokseen. NIST/SEMATECH e-Handbook selittää, että hyväksymisotannassa otosta käytetään tukemaan päätöstä siitä, onko erä todennäköisesti hyväksyttävä. Päätös perustuu silti ennalta määritettyyn suunnitelmaan, eikä se paljasta erän täsmällistä laatua.
Luotettavuus riippuu koko menetelmästä
Otoskokoa on siksi tarkasteltava yhdessä otanta-asetelman, odotetun vaihtelun, mittausmenettelyn, virheen määritelmän ja tilastollisen päätössäännön kanssa. Pienempi, hyvin hajautettu otos voi vastata erätason kysymykseen uskottavammin kuin suurempi joukko käsin valittuja yksiköitä. Toisaalta jopa satunnaisesti valittu otos voi olla riittämätön, jos se on päätössääntöön nähden liian pieni tai jos mittaukset ovat epäjohdonmukaisia.
Johtopäätöksen on vastattava todellista kattavuutta. Ilmoita, kuinka monta yksikköä tutkittiin, mistä ne olivat peräisin, miten ne valittiin, mitä mitattiin ja mitä perusjoukkoa analyysi koskee. Ilman näitä tietoja suuri määrä ei yksin osoita, että tulos on edustava tai luotettava.