Generelt om splittesting

Splittest handler om optimeringseksperimenter gennem statistisk analyse. Hvorfor gætte på om en grøn linktekst vil tiltrække flere klik end din normale blå linktekst. Sæt et splittest-eksperiment op og undersøg det selv.

I Ubivox indeholder splittest-eksperimentet to prøvegrupper. Prøvegrupperne er:

A) Kontrol-gruppen. Denne gruppe bør modtage den normale version af nyhedsbrevet. Det vil sige, den blå linktekst.

B) Eksperiment-gruppen. Denne gruppe bør modtage den eksperimentelle version af nyhedsbrevet. Det vil sige, den grønne linktekst.

Vi kunne potentielt bare afprøve to forskellige eksperimenter, men for at vi skal holde os til en nogenlunde videnskabelig tilgangsvinkel, bør vi også være i stand til at vurdere en kontrol-version.

Det næste du skal overveje er dit kriterie. Kriteriet består af to indstillinger:
‘Operatoren’ (‘Flest’ eller ‘Færrest’) og en ‘Variabel’ (f.eks. ‘Visninger’).

Nu skal vi sørge for at forbedringen vi observerer i den eksperimentelle prøvegruppe, er baseret på faktiske forbedringer og ikke bare tilfældige hændelser. Overvej eksemplet:

A) 1276 visninger
B) 1277 visninger

‘Kriterie’: ‘Flest visninger’

Du vil aldrig være i stand til at sige om den ekstra visning på B var forårsaget af en tilfældig hændelsen eller pga. det faktum at du skiftede farven på linkteksten.

Der findes flere statistiske modeller, der løser dette problem, afhængig af hvor sikker du vil være på konklusionen. Modellen jeg vil præsentere her benytter disse to variabler

• Kriteriegrænseværdi
• Prøvegruppestørrelse

Kriteriegrænseværdien giver dig mulighed for at definere at din eksperimentelle prøvegruppe skal yde bedre end kontrol-prøvegruppen med denne grænseværdie (givet i procent).

Med andre ord, dette er den mindste værdi af forbedring du vil være i stand til at
observere fra eksperimentet.

Prøvegruppestørrelse er antallet af modtagere i hver af dine prøvegrupper.

Når du har valgt kriteriegrænseværdien, skal du bestemme dig for hvor sikker du vil være på dit resultat.

Du kan bruge denne tabel til at slå vores anbefalede prøvegruppestørrelse op, for tre forskellige konfidensniveauer.

For at finde det totale antal modtagere der er nødvendige til dit eksperiment, skal du gange prøvegruppestørrelsen i tabellerne med to for at tage højde for både A og B.

Husk at du også bør gemme plads til vinder-versionen (C), så vælger man et højt
konfidensniveau med en lav grænseværdie på en lille liste, vil det ikke virke.

Konfidensniveau 90%

Grænseværdi	Modtagere på listen (population)
	500	1000	2000	5000	10000	100000	500000
1	466	872	1544	2876	4036	6337	6675
2	387	629	917	1264	1447	1664	1686
3	301	430	547	654	700	747	751
4	230	298	350	390	406	422	423
5	176	214	239	257	264	270	271
10	60	64	66	67	68	68	68
15	29	30	30	30	30	31	31
20	17	17	17	17	17	17	17
25	11	11	11	11	11	11	11
30	8	8	8	8	8	8	8

Konfidensniveau 95%

Grænseværdi	Modtagere på listen (population)
	500	1000	2000	5000	10000	100000	500000
1	476	906	1656	3289	4900	8763	9424
2	414	707	1092	1623	1937	2345	2390
3	341	517	697	880	965	1056	1065
4	274	376	462	537	567	597	600
5	218	278	323	357	370	383	384
10	81	88	92	95	96	96	97
15	40	41	42	43	43	43	43
20	23	24	24	24	24	25	25
25	15	16	16	16	16	16	16
30	11	11	11	11	11	11	11

Konfidensniveau 99%

Grænseværdi	Modtagere på listen (population)
	500	1000	2000	5000	10000	100000	500000
1	486	944	1786	3845	6247	14267	16106
2	447	807	1351	2272	2939	3995	4126
3	394	650	962	1351	1561	1816	1843
4	338	511	685	862	943	1030	1038
5	286	400	500	588	625	662	665
10	126	143	154	162	164	167	167
15	65	69	72	73	74	74	74
20	39	40	41	42	42	42	42
25	26	26	27	27	27	27	27
30	18	19	19	19	19	19	19

Beregningerne er baseret på Cochran’s Formula For Calculating A Sample For
Proportions