Veileder - Leverandørs systemtestrapport

Bakgrunn og formål

Formålet med denne veilederen er å tydeliggjøre Norsk helsenetts (NHN) forventninger til systemtestrapporten som inngår i godkjenningsprosessen for integrasjon med de nasjonale e-helseløsningene.

Hensikten med systemtestrapporten er å gi en god oversikt over leveransen og hvilke av NHNs krav den dekker, samt dokumentere hvordan leveransen er testet. Systemtestrapporten vil dermed gi alle involverte et godt grunnlag til sammen å planlegge akseptansetest (AT). Godkjent systemtestrapport er en av forutsetningene for oppstart AT i godkjenningsprosessen. De kravene som aktør har testet i sin systemtest, ligger til grunn for AT som gjennomføres i NHNs testmiljø. Systemtestrapporten er også ett av dokumentene som ligger til grunn for hva NHN ønsker demonstrert før oppstart AT.

En detaljert systemtestrapport skal dokumentere at løsningen er testet mot alle definerte krav i et ende-til-ende perspektiv, med gyldig integrasjon mot NHNs testmiljøer. Det er NHNs fagressurser innen helsefag, arkitektur og test som er mottakere av systemtestrapporten som er et av de viktigste underlagsdokumentene for godkjenning av integrasjonsløsningen. Erfaringsmessig avdekkes færre feil i AT og selve AT-perioden blir mer effektiv når systemtestrapporten dokumenterer en grundig gjennomført ende-til-ende test av integrasjon mot nasjonalt produkt. Det er rimelig å anta at aktøren i forbindelse med egen systemtest selv avdekker og retter flere feil før AT hos NHN, noe som kan bidra til at både aktør og NHN sparer kostnader i forbindelse med AT. 

Rapporten skal inneholde navn på ansvarlig forfatter, dato og revisjon. Oppdateringer og endringer fra forrige innleverte versjon skal leveres med endringssporing. Filnavn skal ha denne formen: yyyy.mm.dd Aktør Systemtestrapport SW release id. Innlevert rapport må være søkbar.

Innhold i Systemtestrapporten

Systemtestrapporten skal gi oversikt over hva som er testet, hvilke krav det er testet mot, hvordan testen er planlagt og gjennomført, samt en detaljert oversikt over testresultatene. Detaljnivået må være tilstrekkelig til at NHN forstår hva som er testet og hvordan. Basert på systemtestrapporten må NHN kunne vurdere om systemtestdekningen for de enkelte kravene er god nok. NHN må kunne vurdere om krav som ikke er levert, er til hinder for godkjenning. Oversikt over hvilke testcaser som er kjørt skal inkluderes, eventuelt som vedlegg til rapporten.

Listen nedenfor skisserer NHNs forventninger til innhold i systemtestrapporten.

• En en-siders oppsummering av systemtesten, dvs testperiode, programvare release som er testet, antall tester kjørt, antall feil funnet og rettet, antall utestående feil og vurdert alvorlighetsgrad på disse.
  
  

• Produkt(er)

  • Produktnavn med unik produktversjon/release id som er systemtestet
    
    

• Innhold i leveransen

  • Oversikt over de kravene systemtesten dekker

  • Oversikt over funksjonalitet som er testet

  • Eventuelle avgrensninger/forbehold

  • Krav eller funksjonalitet som ikke er testet, med begrunnelse/forklaring på hvorfor dette ikke er omfattet av testen.
    
    

• Testdekning

  • Testscenarier som er gjennomført i systemtest på den aktuelle produktversjonen med status (kjørt ok/feilet, ikke kjørt) med referanse til aktuelle krav

  • Omfanget av regresjonstesting

  • Eventuelle avgrensninger etter avtale med NHN
    
    

• Gjennomførte testcase med forventet resultat og faktisk resultat

  • Link mellom testcase og hvilke(t) krav det er testet mot

  • Forventet resultat

  • Faktisk resultat

  • Aktørs kommentar til testresultatet
    
    

• Testresultater

  • Oversikt over avvik som er identifisert i løpet av systemtesten

  • Oversikt over feil og mangler som er utbedret i løpet av systemtesten

  • Utestående feil etter fullført systemtest.

  • Oversikt over alle kjente feil i løsningen etter avsluttet systemtest

  • Plan for utbedring av kjente feil

  • Vurdering av risiko knyttet til kjente feil
    
    

• Testmiljø

  • Hvilke testmiljø det er testet i

  • Hvilke andre systemer (enn systemet som er under systemtest) som har vært benyttet som en del av ende-til-ende testing
    
    

• Testdata

  • Dvs testpasienter, testrekvirenter og resepter og andre legemiddeldata som er benyttet i testen

  • Beskriv hvordan testdata er generert
    
    

• Avvik i forhold til plan

  • List registrerte avvik i forhold til gjennomføringsplan eller avvik i testmiljø (både eget testmiljø og testmiljø hos NHN)

  • Beskriv evt. endringer i innhold underveis med mulige konsekvenser

  • Beskriv evt. testmiljøutfordringer før og under test

  • Beskriv evt. avvik mht. avhengigheter etc.
    
    

• Vurdering av testens grundighet og konklusjon