[정처기 실기] 애플리케이션 테스트 관리 (2)

* 테스트 오라클 Test Oracle: 테스트 결과가 올바른지 판단하기 위해 사전에 정의된 참 값을 대입하여 비교하는 기법.

 

* 테스트 오라클의 특징:

- 제한된 검증

- 수학적 기법

- 자동화 가능

 

* 테스트 오라클의 종류:

- 참True 오라클

- 샘플링Sampling 오라클

- 추정 Heuristic 오라클

- 일관성 검사 Consistent 오라클

 

 

* 테스트 자동화 도구: 테스트 도구를 활동하여 반복적인 테스트 작업을 스크립트 형태로 구현

 

* 테스트 자동화 도구 유형:

- 정적 분석 도구 Static Analysis Tools

• 프로그램을 실행하지 않고 분석하는 도구

- 테스트 실행 도구 Test Execution Tools

• 스크립트 언어를 사용하여 테스트를 실행하는 도구
• - 데이터 주도 접근방식
• - 키워드 주도 접근방식

- 성능 테스트 도구 Performance Test Tools

• 가상의 사용자를 만들어 테스트를 수행함으로써 성능의 목표 달성 여부를 확인하는 도구

- 테스트 통제 도구 Test Control Tools

• 테스트 계획 및 관리, 테스트 수행, 결함 관리 등을 수행하는 도구

 

* 테스트 하네스  Test Harness

• 테스트가 실행될 환경을 시뮬레이션 하여 컴포넌트 및 모듈이 정상적으로 테스트되도록 하는 도구

 

 

* 테스트 하네스의 구성요소:

 

- 테스트 드라이버 Test Driver: 테스트 대상의 하위 모듈 호출, 파라미터 전달, 모듈 테스트 후의 결과를 도출하는 도구

- 테스트 스텁 Test Stub: 제어 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구

- 테스트 슈트 Test Suites: 테스트 대상 컴포넌트, 모듈, 시스템에 사용되는 테스트 케이스의 집합

- 테스트 케이스 Test Case: 입력값, 실행 조건, 기대 결과 등의 집합

- 테스트 스크립트 Test Script: 자동화된 테스트 실행 절차에 대한 명세

- 목 오브젝트 Mock Object: 사용자의 행위를 조건부로 입력해 두면 그 상황에 맞는 예정된 행위를 수행하는 객체

 

 

* 테스트 리포팅:

 - 테스트 결과 정리 - 테스트 요약문서 - 품질 상태 - 테스트 결과서 - 테스트 실행 절차 및  평가

 

 

* 결함 관리

 

* 결함 Fault: 소프트웨어가 개발자가 설계한 것과 다르게 동작하거나 다른 결과가 발생되는 것

 

* 결함 관리 측정 지표:

- 결함 분포: 모듈, 컴포넌트의 특정 속성에 해당하는 결함 수 측정

- 결함 추세: 테스트 진행 시간에 따른 결함 수의 추이 분석

- 결함 에이징: 특정 결함 상태로 지속되는 시간 측정

 

* 결함 분류:

- 시스템 결함: 애플리케이션 환경이나 데이터베이스 처리에서 발생된 결함

- 기능 결함: 애플리케이션의 기획, 설계, 업무 시나리오 등의 단계에서 유입된 결함

- GUI 결함: 사용자 화면 설계에서 발생된 결함

- 문서 결함: 기획자, 사용자, 개발자 간의 의사소통 및 기록이 원활하지 않아 발생된 결함

 

 

* 결함 관리 도구:

- Mantis

- Trac

- Redmine

- Bugzilla

 

* 테스트 커버리지 Test Coverage

: 테스트 범위를 측정하는 테스트 춤질 측정 기준

 

* 테스트 커버리지 유형:

- 기능 기반 커버리지: 실제 테스트가 수행된 기능의 수를 측정. 100% 달성을 목표

- 라인 커버리지: 소스 코드의 라인 수를 모수로 테스트 시나리오가 수행한 소스 코드의 라인 수 측정

- 코드 커버리지: 코드 자체가 얼마나 테스트되었는지를 측정

 

* 코드 커버리지 유형:

- 구문 커버리지

- 결정 커버리지

- 조건 커버리지

- 조건/결정 커버리지

- 변경 조건/결정 커버리지

- 다중 조건/결정 커버리지

 

* 애플리케이션 성능 분석

 

* 애플리케이션 성능: 최소한의 자원을 사용하여 최대한 많은 기능을 신속하게 처리하는 정도

 

* 애플리케이션 성능 측정 지표:

- 처리량 Throughput: 일정 시간 내에 애플리케이션이 처리하는 일의 양

- 응답 시간 Response Time: 애플리케이션에 요청을 전달한 시간부터 응답이 도착할 때까지 걸린 시간

- 경과 시간 Turn Around Time: 애플리케이션에 작업을 의뢰한 시간부터 처리가 완료될 때까지 걸린 시간

- 자원 사용률 Resource Usage: 애플리켜이션이 의뢰한 작업을 처리하는 동안의 CPU 사용량, 메모리 사용량, 네트워크 사용량 등 자원 사용률

 

* 성능 테스트 도구: 애플리케이션에 부하나 스트레스를 가하면서 애플리케이션의 성능 측정 지표를 점검

 

* 성능 테스트 도구 종류:

- JMeter: HTTP, FTP 등 다양한 프로토콜 지원

- LoadUI: UI를 통해 HTTP, JDBC등 주로 웹 서비스를 대상으로 서버 모니터링을 지원

- OpenSTA: HTTP, HTTPS 지원하는 부하 테스트 및 생산품 모니터링 도구

 

* 시스템 모니터링 도구: 애플리케이션이 실행 되었을 때 시스템 자원의 사용량을 확인하고 분석하는 도구.

 

* 시스템 모니터링 도구 종류:

- Scouter: 단일 뷰 통합/ 실시간 모니터링, 튜닝에 최적화된 인프라 통합 모니터링 도구

- Zabbix : 웹기반 서버, 서비스, 애플리케이션 등의 모니터링 도구

 

 

* 복잡도 Complexity :

- 시스템이나 시스템 구성 요소 또는 소프트웨어의 복잡한 정도를 나타내는 말.

- 소프트웨어를 어느 정도의 수준까지 테스트해야 하는지 또는 개발하는 데 어느 정도의 자원이 소요되는지 예측하는 데 사용

 

* 시간 복잡도:

- 알고리즘을 수행하기 위해 프로세스가 수행하는 연산 횟수를 수치화 한것

- 시간 복잡도가 낮을수록 알고리즘의 실행시간이 짧고, 높을수록 실행 시간이 길어진다.

 

* 점근 표기법의 종류:

- 빅오 표기법 Big-O : 알고리즘 실행시간이 최악인 경우 표기

- 세타 표기법 Big-θ : 알고리즘 실행시간이 평균일 때를 표기

- 오메가 표기법 Big-Ω : 알고리즘 실행시간이 최상을 때 표기

 

* 빅오 표기법으로 표현한 최악의 알고리즘 시간복잡도:

• O(1) : 입력값에 관계없이 일정하게 하나의 단계만을 거침. ex) 스택의 삽입 Push, 삭제 Pop 
• O(log n) : 문제해결에 필요한 단계가 입력값 또는 조건에 의해 감소 ex) 이진트리 Binary Tree, 이진 검색 Binary Search
• O(n) : 문제 해결에 필요한 단계가 입력값과 1:1의 관계를 가짐. ex) for문
• O(n log n): 문제 해결에 필요한 단계가 n(logn)번만큼 수행 ex) 힙정렬, 2-way 합병 정렬 (Merge Sort)
• O(n^2): 문제 해결에 필요한 단계가 입력값의 제곱만큼 수행 ex) 삽입정렬, 쉘정렬, 선택 정렬, 버블 정렬, 퀵 정렬
• O(2^n): 문제 해결에 필요한 단계가 2의 입력값 제곱만큼 수행 ex) 피보나치 수열

 

* 순환 복잡도 Cyclomatic Complexity:

- 논리적인 복잡도를 측정하기 위한 소프트웨어의 척도

- 맥케이브 순환도 또는 맥케이브 복잡도 매트릭 으로도 표기.

- 순환 복잡도 = 화살표의 수 - 노드의 수 + 2

 

* 애플리케이션 성능 개선: 나쁜 코드를 배제하고 클린 코드로 작성하는 것.

 

* 클린코드: 누구나 쉽게 이해하고 수정 및 추가할 수 있는 단순 명료한 코드.

* 나쁜코드: 프로그램의 로직이 복잡하고 이해하기 어려운코드

- 스파게티 코드: 로직이 서로 복잡하게 얽혀있는 코드

- 외계인 코드: 오래되거나 참고문서 또는 개발자가 없어 유지보수 작업이 어려운 코드

 

* 클린 코드 작성 원칙:

- 가독성

- 단순성

- 의존성 배제

- 중복성 최소화

- 추상화 

 

* 소스코드 최적화 유형:

- 클래스 분할 배치: 하나의 클래스는 하나의 역할만 수행하도록 응집도를 높이고 크기를 작게 작성.

- 느슨한 결합 Loosely Coupled: 인터페이스 클래스를 이용하여 추상화된 자료구조와 메소드를 구현함으로써 클래스간의 의존성을 최소화함

 

* 소스 코드 품질 분석 도구:

- 정적 분석 도구: 작성한 코드를 실행하지 않고 코등 표준, 코딩 스타일, 결함등을 확인하는 코드 분석 도구

- 동적 분석 도구: 작성한 소스 코드를 실행하여 코드에 존재하는 메모리 누수, 스레드 결함 등을 분석하는 도구

 

 

* 소스 코드 품질분석 도구:

- 정적 분석 도구

• pmd
• cppcheck
• SonarQube
• checkstyle
• ccm 
• coberura

- 동적 분석 도구

• Avalanche
• Valgrind