본문 바로가기

도서관

테스트베드(Test Bed 혹은 FGT) 기안과 현장 프로세스

게임 개발과정에서 진행하는 테스트에는
사내에서 진행하는 테스트와 사외에서 진행하는 테스트가 있습니다.

사외에서 진행하는 이런 테스트를 테스트베드 혹은 FGT(Focus Group Test) 등으로 진행하는데,
경우에 따라서는 유저커뮤니티(길드나 동호회)를 동째로 섭외에 상시테스트 형태로 유지하는 경우도 있습니다. 

사내테스트는 주로 게임QA 가 주도적으로 진행할 수 있지만,
사외테스트는 테스터모집, 선별, PC방섭외, 비용정산 등 외적인 부분들이 많아서
게임QA 가 주로 기안 정도까지만 진행을 하고, 실제 테스트는 외주 대행사를 이용하는 경우가 자주있습니다.

외주 대행사를 이용하게 되면, 그 비용만큼 준비나 결과분석에 대한 수고를 덜게 됩니다만,
개발사에서 직접 진행하게 되면, 유저의 피드백을 현장에서 직접 들을 수 있기 때문에
개발자들이 게임을 바라보는 시각에서 유저입장을 더 고려하게 해주는 효과가 있습니다. 

※ QA, GM, 마케팅 등 지원조직의 의견을 개발에서 수용을 잘 안하려는 경우가 종종 있는데,
    FGT에서 나온 유저의 짧은 한마디는 즉각 게임에 적용해 주기 때문에, 개발 방향성 재고 측면에서도 FGT는 필요합니다.


테스트베드에 대한 기본적인 내용과 첨부파일로 TB현장프로세스를 올려 둡니다.



제목 : 테스트베드를 통한 제한적인 테스트와 피드백

목차

I.         테스트베드의 정의 및 필요성

II.       테스트의 범위

III.     테스트의 방법

1.     소그룹 테스트베드의 구성

2.      FGI (혹은 FGD) 의 구성

IV.    테스트를 위한 요구사항

V.      테스트 시뮬레이션 (소그룹 구성 기준)

1.     비공개로 진행하는 경우

2.      공개로 진행하는 경우

 

 

I.        테스트베드의 정의 및 필요성

1.        테스트베드의 정의

ü        테스트베드(TestBed) 는 새로운 상품이나 서비스를 본격적으로 출시하기에 앞서 기능상의 문제점이나 사용자의 반응을 시험할 수 있는 환경을 말한다. 일반적으로 온라인 게임에서의 테스트베드는 클로즈베타테스트, 오픈베타테스트, 상용서버에서의 테스트서버 등을 모두 포함한다고 볼 수 있지만, 본 문서에서는 다음의 조건을 만족하는 제한적인 테스트 환경을 의미하기로 한다.

 

-         선발된 제한인원으로 구성하며, 일반 사용자와는 분리된 플레이 환경일 것

-         개발자(혹은 운영자)와 긴밀한 연락체계를 갖추며, 일반 사용자와는 별개의 운영정책을 적용 받을 것

-        플레이 및 플레이 결과에 대해 피드백을 의무화 할 것 (이를 위해 금전적인 테스터 지원방안을 수립할 것)

-        적절한 보안을 의무화 할 것

 

2.        테스트베드의 필요성

ü        온라인 게임의 개발추세를 보면, 점점 더 완성도가 높은 상태에서 클로즈베타테스트가 개시되고 있다. 클로즈베타테스트가 시작되면 유저의 게임 평가나 스크린샷이 널리 유포되므로, 사실상 클로즈가 아닌 오픈 상태에서 서비스 된다고 볼 수 있다. 클로즈베타테스트는 완성된 버전이 아니기 때문에 예측하지 못한 버그가 발생할 가능성이 다분하므로, 이러한 공개는 예측할 수 없는 위험성을 내포하고 있다. 그러므로 클로즈베타테스트 이전에 이를 확인하는 단계가 필요하다고 보는 것이다.

ü         타겟팅에 맞춰 선발한 유저집단의 플레이 피드백은 기획내용이 올바르게 전달되고 있는지의 여부를 판별하기 위한 기준이 될 수 있다. (이러한 피드백은 일반 유저의 피드백보다 기획반영 면에서 중요도와 우선순위가 높아져야 마땅하다) 테스트베드가 바로 이러한 기능을 수행한다.

ü        일반적인 클로즈베타테스트나 오픈베타테스트보다 요구되는 의무사항이 많고, 그에 따르는 지원방안이 뒤따르게 되는데, 이러한 활동은 일반유저보다 충성도가 높아지는 계기가 될 수 있다. (실제 타게임에서 이러한 전례가 있음. 한빛소프트의 GE서포터즈 등)

 

참고 : 정부에서 지원하는 테스트베드 -> http://gtsc.etri.re.kr/

 

 

II.       테스트의 범위

 

ü        테스트베드에 제공되는 플레이 환경은 일반유저와 분리되어 있으므로, 각 기능 단위별 테스트가 가능하다. 그러나 단순한 기능구현상의 버그는 개발팀의 QA를 통해서도 체크가 가능하므로, 테스트베드에서는 기능추가에 대한 유저의 반응을 의견수렴 형태로 피드백 받아야 할 것이다.

ü        시기별로, 이슈가 되는 개발시스템 항목을 결정하고, 그 항목에 대해 미리 준비된 객관식 및 주관식으로 유저의 의견을 받는다.

ü        게임의 향후 일정에 비추어 테스트 되어야 할 주요 이슈는 다음과 같다.

-         UI 시스템

-        게임 시스템 1/XX

 

 

III.     테스트의 방법

1.       소그룹 테스트베드의 구성

ü         특정 커뮤니티 유저그룹을 선정하여 테스트을 일임하는 방법이다.

ü         기간 : 테스트 이슈별로 수일이내 ( 1주일)

ü         인원 : 최소 20명 이상, 최대 200명 이하 (피드백을 받아 정리하기에 충분한 정도의 인원)

ü         방법 : 해당 커뮤니티의 리더에게 테스트를 일임하고, 피드백을 의무화 한다. 그에 따르는 금전적인 보상을 지급한다. 별다른 문제가 없는 경우, 해당 커뮤니티를 회사 공식 테스트베드로 고정화 하고 지속적으로 관리한다.

 

2.        FGI (혹은 FGD) 의 구성

ü         외부의 리서치 회사에 의뢰하여 포커스 그룹 유저로부터 집중적인 의견을 피드백 받는 방법이다.

ü         기간 : 테스트 이슈별로 1~2

ü         인원 : 최소 5명 이상, 최대 20명 이하 (충분한 피드백이 이루어 질때까지, 금액이 허락하는 범위내에서 결정)

ü         방법 : 게임 타겟에 맞는 유저를 선별, 밀폐된 장소에서 플레이 후 내용에 대해 집중적으로 의견을 이야기하고 서로 토론하게 한다. 리서치 주관 회사는 고정화 하고, 매 테스트에 참여하는 인원은 새로 선발한다.

 

 

IV.     테스트를 위한 요구사항

 

ü        테스트베드를 구성하기 위한 요구사항은 다음과 같다.

ü        소그룹 테스트베드 및 FGI 공통으로 필요한 사항

-         외부용테스트 서버

-         테스터 전용 계정

-        테스트 결과 피드백을 위한 설문지 (유저 체크 리스트)

 

ü        소그룹 테스트베드를 위해 필요한 사항

-         테스터 전용 게시판

-         테스터 지원정책 : 테스터 1인당 월 O~OO원 상당의 보상, 그룹에 정모비 지원 (참석 1인당 OO원 상당)

-        총 비용 : 50명인 그룹에 1인당 월 OO원씩 3개월 지원시 (정모는 월 2회 각 30명 참가로 가정) 총 비용 OO

 

ü        FGI 를 위해 필요한 사항

-         리서치 회사 선정 : 4~5명의 1개 그룹으로 하고, 테스트 이슈별로 의뢰 (비용산정은 XXXX 기준으로 1그룹 1회당 비용단가 OO)

-         총 비용 : 테스트 2, 2그룹 진행시 총 비용 OO (1그룹 5명 가정, 테스트 1회 인원은 총 10)

 

 

V.       테스트 시뮬레이션 (소그룹 구성 기준)

1.        비공개로 진행하는 경우

1)      유저 커뮤니티 사이트를 선정한다. (-플레이포럼, 루리웹 등)

2)      길드장으로부터 길드 소개와 신청서를 받는다.

3)      길드를 선정하고 일정을 협의한다.

4)      테스트 서버를 오픈하고 테스트를 진행한다.

5)      테스트 결과를 피드백 받는다.

6)      회사 내의 다른 게임 테스트 일정이 잡히면 3)~5) 를 반복한다.
(
만약 결과 피드백이 충분하지 않을 경우 새로운 2)~5) 를 반복한다)

 

2.        공개로 진행하는 경우

1)      테스트베드 홈페이지를 만든다. (멤버쉽 사이트 형태로 구성)

2)      회사에서 테스트베드를 모집한다는 광고를 대대적으로 한다.

3)      테스터와 예비테스터를 선정한다. (예비테스터는 테스터가 이탈할 경우 테스터로 충원되는 사람이다)

4)      정기적으로 회사에서 개발하는 게임을 테스트 하고 보고서를 작성한다. (테스트가 없는 기간에는 타게임에 대한 보고서 작성을 요구할 수 있다)

5)      보고서를 평가하고, 우수 보고서 작성자에게는 포상을, 활동이 미약한 사람은 테스터 자격을 박탈한다.

  
끝.