CHAPTER 01 - 애플리케이션 테스트 케이스 설계(1)

2024년도 수제비 실기책(6판) 내용

---

1. 애플리케이션 테스트 케이스 작성

1) 소프트웨어 테스트의 이해

(1) 소프트웨어 테스트 개념

 

• 개발된 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능과 성능, 사용성, 안정성 등을 만족하는지 확인하고, 노출되지 않은 숨어있는 소프트웨어의 결함을 찾아내는 활동

(2) 소프트웨어 테스트 필요성

구분	설명
오류 발견 관점	프로그램에 잠재된 오류를 발견하고 이를 수정하여 올바른 프로그램을 개발하기 위해 필요
오류 예방 관점	프로그램 실행 저넹 동료 검토, 워크 스루, 인스펙션 등을 통해 오류를 사전에 발견하는 예방 차원의 필요
품질 향상 관점	사용자의 요구사항 및 기대 수준을 만족하도록 반복적인 테스트를 거쳐 제품의 신뢰도를 향상하는 품질 보증을 위해 필요

 

(3) 소프트웨어 테스트의 기본 원칙

 

[1] 소프트웨어 테스트 원리(결완초집 살정오)

원리	설명
결함 존재 증명	- 테스트는 결함이 존재함을 밝히는 활동 - 결함이 없다는 것을 증명할 수 없음
완벽 테스팅은 불가능	무한 경로(한 프로그램 내의 내부 조건은 무수히 많은 수 있음), 무한 입력값(입력값이 가질 수 있는 모든 값의 조합이 무수히 많음)으로 인한 완벽한 테스트가 어렵다는 원리
초기 집중	- 개발 초기에 체계적인 분석 및 설계가 수행되면 테스팅 기간 단축, 재작업을 줄여 개발 기간을 단축 및 결함을 에방할 수 있는 원리 - SW 개발 초기 체계적인 분석 및 설계가 수행되지 못하면 그 결과가 프로젝트 후반에 영향을 미치게 되어 비용이 커진다는 요르돈 법칙 적용(Snowball Effect; 눈덩이 법칙)
결함 집중	- 적은 수의 모듈(20% 모듈)에서 대다수 결함(80% 결함)이 발견된다는 원리 - 파레토 법칙(Pareto Principle)의 내용인 80대 20법칙 적용
살충제 패러독스	동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못한다는 원리
정황 의존성	소프트웨어의 성격에 맞게 테스트를 수행해야 한다는 원리
오류-부재의 궤변	요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없다는 원리

 

[2-1] 소프트웨어 테스트 산출물

산출물	설명
테스트 계획서 (Test Plan)	테스트 목적과 범위 정의, 대상 시스템 구조 파악, 테스트 수행 절차, 테스트 일정, 조직의 역할 및 책임 정의, 종료 조건 정의 등 테스트 수행을 계획한 문서
테스트 베이시스 (Test Basis)	분석, 설계 단계의 논리적인 케이스(Case)로 테스트 설계를 위한 기준이 되는 문서(요구사항 명세서, 관련 기준 또는 표준 등)
테스트 케이스 (Test Case)	테스트를 위한 설계 산출물로, 응용 소프트웨어가 사용자의 요구사항을 준수하는지 확인하기 위해 설계된 입력값, 실행조건, 기대 결과로 구성된 테스트 항목의 명세서
테스트 슈트 (Test Suites)	- 테스트 케이스를 실행환경에 따라 구분해 놓은 테스트 케이스의 집합 - 시나리오가 포함되지 않은 단순한 테스트 케이스들의 모음
테스트 시나리오 (Test Scenario)	- 애플리케이션의 테스트 되어야할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서 - 하나의 단일 테스트 시나리오가 하나 또는 여러 개의 테스트 케이스들을 포함할 수 있음 - 테스트 시나리오가 테스트 케이스와 일 대 다의 관계를 가짐
테스트 스크립트 (Test Script)	- 테스트 케이스의 실행 순서(절차)를 작성한 문서 - 테스트 스텝(Test Step), 테스트 절차서(Test Procedure)라고도 함
테스트 결과서 (Test Results)	테스트 결과를 정리한 문서로 테스트 프로세스를 리뷰하고 테스트 결과를 평가하고 리포팅하는 문서

 

[2-2] 테스트 스크립트와 테스트 시나리오의 차이점

 

• 테스트 스크립트는 특정 기능에 대한 상세 절차이고 테스트 시나리오는 사용자가 시스템을 사용하면서 만나게 되는 상황을 개략적으로 구성한 것이라고 볼 수 있음
• 온라인 쇼핑몰을 예로 들면 사용자가 특정 상품을 검색해서 결제까지 실행하는 테스트 아이템을 작성한다고 할 때 추출할 수 있는 테스트 아이템으로 '로그인', '상품검색', '장바구니 담기', '주문', '결제'와 같은 것들이 있을 때, 테스트 스크립트(프로시저)와 테스트 시나리오는 아래와 같이 정의할 수 있음

Test 스크립트	Test Procedure 1.  로그인 Test Procedure 2. 상품검색 Test Procedure 3. 장바구니 담기 Test Procedure 4. 주문 Test Procedure 5. 결제
Test 시나리오	Test Scenario 1. 로그인 > 상품검색 > 장바구니 담기 > 주문 > 결제 Test Scenario 2. 상품검색 > 장바구니 담기 > 로그인 > 주문 > 결제 Test Scenario 3. 로그인 > 상품 검색 > 바로구매 > 주문 > 결제

• Test 스크립트는 로그인부터 결제까지 순차적으로 테스트가 진행되기 때문에 테스트를 수행하기 위해 테스트 스크립트가 중복 되는 걸 최소화 할 수 있어서 효율적인 테스트가 가능함
• 테스트 시나리오는 위와 같이 사용자가 특정 상품을 결제하기 위해서 사용자가 만날 수 있는 다양한 상황을 조작 순서로 구성한 것으로 결제라는 테스트 아이템을 확인하기 위해 유효하거나, 유효하지 않는 테스트 케이스를 사용자가 조작 가능한 순서대로 구성한 것임

2) 소프트웨어 테스트 유형

(1) 프로그램 실행 여부에 따른 분류

분류	설명	유형
정적 테스트	테스트 대상을 실행하지 않고 구조를 분석하여 논리성을 검증하는 테스트	리뷰, 정적 분성
동적 테스트	소프트웨어를 실행하는 방식으로 테스트를 수행하여 결함을 검출하는 테스트	화이트박스 / 블랙박스 테스트, 경험기반 테스트

 

(2) 테스트 기법에 따른 분류

 

[1-1] 화이트 박스 테스트(white-Box Test) - 주결조 조변다기 제데루

 

• 각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트
• 코드 분석과 프로그램 구조에 대한 지식을 바탕으로 문제가 발생할 가능성이 있는 모듈 내부를 테스트 하는 방법
• 소스 코드의 모든 문장을 한 번 이상 수행함으로써 진행되고, 산출물의 기능별로 적절한 프로그램의 제어 구조에 따라 선택, 반복 등의 부분들을 수행함으로써 논리적 경로를 점검함
• 내부 소스 코드의 동작을 개발자가 추적할 수 있기 때문에 동작의 유효성뿐만 아니라 실행되는 과정을 확인할 수 있음
• 구조 기반 테스트, 코드 기반 테스트, 로직 기반 테스트, 글래스(Glass) 박스 테스트 라고도 부름

유형	내용
구문 커버리지 = 문장 커버리지 (Statement Coverage)	- 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지 - 조건문 결과와 관계 없이 구문 실행 개수로 계산
결정 커버리지 = 선택 커버리지 (Decision Coverage) = 분기 커버리지 (Branch Coverage)	- 각 분기의 결정 포인트 내의 전체 조건식이 적어도 한번은 참(T)과 거짓(F)의 결과를 수행하는 테스트 커버리지 - 구문 커버리지를 포함
조건 커버리지 (Condition Coverage)	- 각 분기의 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지 - 구문 커버리지를 포함
조건/결정 커버리지 (Condition/Decision Coverage)	전체 조건식뿐만 아니라 개별 조건식도 참 한번, 거짓 한번 결과가 되도록 수행하는 커버리지
변경 조건/결정 커버리지 (Modified Condition / Decision Coverage)	개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지
다중 조건 커버리지 (Multiple Condition Coverage)	결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
기본 경로 커버리지 = 경로 커버리지 (Base Path Coverage)	수행 가능한 모든 경로를 테스트하는 기법
제어 흐름 테스트 (Control Flow Testing)	프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트 하는 기법
데이터 흐름 테스트 (Data Flow Testing)	제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트 하는 기법
루프 테스트(Loop Testing)	프로그램의 반복 구조에 초점을 맞춰 실시하는 테스트 기법

 

[1-2] 맥케이프(McCabe)의 순환복잡도 - 기본 경로 커버리지는 맥케이브의 순환복잡도를 기반으로 커버리지를 계산함

 

1. 개념 : 순환복잡도는 제어 흐름의 복잡한 정보를 정량적으로 표시하는 기법이며 해당 제어 흐름 그래프에서 선형적으로 독립적인 경로의 수를 나타냄

 

2. 측정방법 : 제어 흐름에 의한 그래프를 통하여 원시코드의 회전수를 구하여 복잡도를 계산

구분	항목	설명
계산식	V(G)=E-N+2	복잡도 V는 노드(N) 수와 간선(E)수로 계산
	V(G)=P+1	복잡도 V는 조건 분기문(P)의 수로 계산
그래프 구성		프로세스 태스크 표현
		태스크 간의 제어 흐름 표현
그래프 표현		분기, 반복 없는 태스크 표현
		사전 조건에 의한 반복 제어 흐름 표현
		사후 조건에 의한 반복 제어 흐름 표현
		조건 분기문에 의한 제어 흐름 표현

 

3.맥케이브 회전수 계산 사례

 

좌)문제 / 우) 간단히 푸는 방법

• 계산식으로 푸는 방법
• V(G) = E - N + 2
• V(G) = 6 - 4 + 2
• V(G) = 4

[2] 블랙박스 테스트(Black-Box Test) - 동경결상 유분페원비오

 

• 프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트(기능 테스트)
• 소프트웨어의 특징, 요구사항, 설계 명세서 등에 초점을 맞춰 테스트가 이루어짐
• 기능 및 동작 위주의 테스트를 진행하기 때문에 내부 구조나 작동 원리를 알지 못해도 가능함
• 명세 테스트 라고도 불림

유형	내용
동등분할 테스트  = 동치 분할 테스트, 균등 분할 테스트, 동치 클래스 분해 테스트 (Equivalence Partitioning Testing)	입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
경곗값 분석 테스트 = 한곗값 테스트 (Boundary Value Analysis Testing)	- 등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법 - 최솟값 바로 위, 최대치 바로 아래 등 입력값의 극한 한계를 테스트하는 기법
결정 테이블 테스트 (Decision Table Testing)	요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트 하는 기법
상태 전이 테스트 (State Transition Testing)	테스트 대상/시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 테스트하는 기법
유스케이스 테스트 (Use case Testing)	시스템이 실제 사용되는 유스케이스로 모델링 되어 있을대 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 테스트하는 기법
분류 트리 테스트 (Classification Tree Method Testing)	SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트 하는 기법
페어와이즈 테스트 (Pairwise Testing)	테스트 데이터값들 간에 최소한 한 번씩 조합하는 방식이며, 이는 커버해야할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트로 구성하기 위한 테스트 기법
원인-결과 그래프 테스트 (Cause-Effect Graph Testing)	그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법
비교 테스트 (Comparison Testing)	여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법
오류 추정 테스트 (Error Guessing Testing)	- 개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트하는 기법 - 특정 테스트 대상이 주어지면 테스터의 경험과 직관을 바탕으로 개발자가 범할 수 있는 실수들을 나열하고, 해당 실수에 따른 결함을 노출하는 테스트로 다른 블랙박스 테스트 기법을 보완할 때 사용하는 기법

 

(3) 테스트 시각에 따른 분류

분류	설명
검증(Verification)	- 소프트웨어 개발 과정을 테스트 - 올바른 제품을 생산하고 있는지 검증 - 이전 단계에서 설정된 개발 규격과 요구를 충족시키는지 판단 - 개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바르게 수행하는지 알아보는 과정
확인(Validation)	- 소프트웨어 결과를 테스트 - 만들어진 제품이 제대로 동작하는지 확인 - 최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단 - 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정

 

(4) 테스트 목적에 따른 분류(회안성 구회병)

 

[1] 테스트 목적에 따른 분류

분류	설명
회복 테스트 (Recovery Testing)	시스템에 고의로 실패를 유도하고 시스템의 정상적 복귀 여부를 테스트하는 기법
안전 테스트 (Security Testing)	불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법
성능 테스트 (Performance Testing)	사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자 요구에 시스템이 반응하는 속도 등을 측정하는 테스트 기법
구조 테스트 (Structure Testing)	시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법
회귀 테스트 (Regression Testing)	오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트 기법
병행 테스트 (Parallel Testing)	변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법

 

[2] 성능 테스트의 상세 유형

유형	설명
부하 테스트 (Load Testing)	시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트 부하 테스트를 통해 병목 지접을 찾아서 병목 현상을 제거하는 과정을 반복
강도 테스트 (Stress Testing)	시스템 처리 능력 이상의 부하, 즉 임계점 이상의 부하를 가하여 비정상적인 상황에서 시스템의 동작 상태를 확인하는 테스트
스파이크 테스트 (Spike Testing)	짧은 시간에 사용자가 몰릴 때 시스템의 반응을 측정하는 테스트
내구성 테스트 (Endurance Testing)	오랜 시간 동안 시스템에 높은 부하를 가하여 시스템의 반응을 테스트

3) 정적 테스트

(1) 리뷰(Review) - 사람이 직접 수행

 

• 소프트웨어의 다양한 산출물에 존재하는 결함을 검출하거나 프로젝트의 진행 상황을 점검하기 위한 활동으로 전문가가 수행

[1] 동료 검토 (Peer Review)

 

• 동료 검토는 2 ~ 3명이 진행하는 리뷰의 형태로 요구사항 명세서 작성자가 요구사항 명세서를 설명하고, 이해관계자들이 설명을 들으면서 결함을 발견하는 형태로 진행하는 검토 기법

[2] 인스펙션(Inspection)

 

• 소프트웨어 요구, 설계, 원시 코드 등의 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아내는 형식적인 검토 기법
• 개발 초기에 검사해야만 개발 초기 작업물에서 문제를 발견할 수 있음

[3] 워크 스루(Walk Throughts)

 

• 검토 자료를 회의 전에 배포해서 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태로 리뷰를 통해 문제 식별, 대안 조사, 개선 활동, 학습 기회를 제공하는 가장 비형식적인 검토 기법
• 결함을 검출할 뿐만 아니라 참가자들의 교육이나 지식 공유를 위해 수행하기도 함
• 작성자 본인이 보통 회의를 주재하며 기록자 역할도 담당할 수 있고, 인스펙션과 마찬가지로 관리자 직책을 담당하는 사람은 멤버로 참여하는 것을 금지함

(2) 정적 분석(Static Analysis) - 도구의 지원을 받아 수행

 

• 자동화된 도구를 이용하여 산출물의 결함을 검출하거나 복잡도를 측정
• 코딩 표준 부합, 코드 복잡도 계산, 자료 흐름 분석 등이 있음