Bakgrunn og formål
Formålet med denne veilederen er å tydeliggjøre Norsk Helsenetts (NHN) forventninger til systemtestrapporten som inngår i godkjenningsprosessen for integrasjon med de nasjonale e-helseløsningene.
Hensikten med systemtestrapporten er å gi en god oversikt over leveransen og hvilke av NHNs krav den dekker, samt dokumentere hvordan leveransen er testet. Systemtestrapporten vil dermed gi alle involverte et godt grunnlag til sammen å planlegge akseptansetest (AT). Godkjent systemtestrapport er en av forutsetningene for oppstart AT i godkjenningsprosessen. De kravene som aktør har testet i sin systemtest, ligger til grunn for AT som gjennomføres i NHNs testmiljø. Systemtestrapporten er også ett av dokumentene som ligger til grunn for hva NHN ønsker demonstrert før oppstart AT.
En detaljert systemtestrapport skal dokumentere at løsningen er testet mot alle definerte krav i et ende-til-ende perspektiv, med gyldig integrasjon mot NHNs testmiljøer. Det er NHNs fagressurser innen helsefag, arkitektur og test som er mottakere av systemtestrapporten som er et av de viktigste underlagsdokumentene for godkjenning av integrasjonsløsningen. Erfaringsmessig avdekkes færre feil i AT og selve AT-perioden blir mer effektiv når systemtestrapporten dokumenterer en grundig gjennomført ende-til-ende test av integrasjon mot nasjonalt produkt. Det er rimelig å anta at aktøren i forbindelse med egen systemtest selv avdekker og retter flere feil før AT hos NHN, noe som kan bidra til at både aktør og NHN sparer kostnader i forbindelse med AT.
Rapporten skal inneholde navn på ansvarlig forfatter, dato og revisjon. Oppdateringer og endringer fra forrige innleverte versjon skal leveres med endringssporing. Filnavn skal ha denne formen: yyyy.mm.dd Aktør Systemtestrapport SW release id. Innlevert rapport må være søkbar.
Innhold i Systemtestrapporten
Systemtestrapporten skal gi oversikt over hva som er testet, hvilke krav det er testet mot, hvordan testen er planlagt og gjennomført, samt en detaljert oversikt over testresultatene. Detaljnivået må være tilstrekkelig til at NHN forstår hva som er testet og hvordan. Basert på systemtestrapporten må NHN kunne vurdere om systemtestdekningen for de enkelte kravene er god nok. NHN må kunne vurdere om krav som ikke er levert, er til hinder for godkjenning. Oversikt over hvilke testcaser som er kjørt skal inkluderes, eventuelt som vedlegg til rapporten.
Listen nedenfor skisserer NHNs forventninger til innhold i systemtestrapporten.
En en-siders oppsummering av systemtesten, dvs testperiode, programvare release som er testet, antall tester kjørt, antall feil funnet og rettet, antall utestående feil og vurdert alvorlighetsgrad på disse.
Produkt(er)
Produktnavn med unik produktversjon/release id som er systemtestet
Innhold i leveransen
Oversikt over de kravene systemtesten dekker
Oversikt over funksjonalitet som er testet
Eventuelle avgrensninger/forbehold
Krav eller funksjonalitet som ikke er testet, med begrunnelse/forklaring på hvorfor dette ikke er omfattet av testen.
Testdekning
Testscenarier som er gjennomført i systemtest på den aktuelle produktversjonen med status (kjørt ok/feilet, ikke kjørt) med referanse til aktuelle krav
Omfanget av regresjonstesting
Eventuelle avgrensninger etter avtale med NHN
Gjennomførte testcase med forventet resultat og faktisk resultat
Link mellom testcase og hvilke(t) krav det er testet mot
Forventet resultat
Faktisk resultat
Aktørs kommentar til testresultatet
Testresultater
Oversikt over avvik som er identifisert i løpet av systemtesten
Oversikt over feil og mangler som er utbedret i løpet av systemtesten
Utestående feil etter fullført systemtest.
Oversikt over alle kjente feil i løsningen etter avsluttet systemtest
Plan for utbedring av kjente feil
Vurdering av risiko knyttet til kjente feil
Testmiljø
Hvilke testmiljø det er testet i
Hvilke andre systemer (enn systemet som er under systemtest) som har vært benyttet som en del av ende-til-ende testing
Testdata
Dvs testpasienter, testrekvirenter og resepter og andre legemiddeldata som er benyttet i testen
Beskriv hvordan testdata er generert
Avvik i forhold til plan
List registrerte avvik i forhold til gjennomføringsplan eller avvik i testmiljø (både eget testmiljø og testmiljø hos NHN)
Beskriv evt. endringer i innhold underveis med mulige konsekvenser
Beskriv evt. testmiljøutfordringer før og under test
Beskriv evt. avvik mht. avhengigheter etc.
Vurdering av testens grundighet og konklusjon