본문 바로가기

도서관

[번외] 바쁜 일정에서도 '필드 테스트(Field Test)' 는 꼭 필요하다..?

* Field Test
  -실지 시험[실험]

안녕하세요~!!
나름 혼자만 바쁜척 하느라;;
바쁜 일상을 티내는 DevLion 입니다. (_ _)

간만에 인사드리네요.
기쁜일, 어려운 일 등등 여러가지 개인적인 에피소드(?)가 있어
최근 카페에 들리지 못하고 있었네요~ ^^

[연재] 4회도 올려야하는데, 아직 전혀 구상도 못해뒀구요;;
그래서, 이런저런 잡담이 될 수도 있는 일상 생활의 여담을 좀 적어볼까 합니다.

아마도, [직업병] 이라고 생각되는데..
유난히 만지는 포터블 기기들과 프로그램(소프트웨어)에서 '버그'가 눈에 많이 띄더군요.

사실, 실생활에서 많이 사용하는 제품들에서
기본적인 기능에 문제가 있을 정도로 심각한 버그가 있는 제품들은 많지 않죠.
다만, 조금은 복잡한 조건들 속에서 해당 조건들의 조합에 의해 문제점이 나타나는
즉, 버그가 발생하는 제품들이 의외로 많다는 것에 새삼 놀라게 되더군요.

최근, iPad2를 들고다니는 관계로
소셜 네트워크를 핑계로 [Facebook], 모바일 [네이버]어플이나, 친구들과 자주 연락을 하면서
[카카오 톡], [네이버 톡] 등 메신저 어플들을 많이 사용하고 있어서인지,
유난히 많은 버그들을 접하고 있습니다. :)

요즘, 많은 분들이 이용하고 계시는
[페이스 북] 같은 경우는 "니들 기본 테스트는 하고 내보내냐?" 라는 욕설(?)이
나올 정도로 쓰레기 어플  문제가 많은 어플 입니다.
사실, 쓰레기 라고, 욕을 해주고 싶지만... 그건 좀 심한 표현이니 삼가죠.
(아, 이미 말했구나... ㅠㅜ)

엔드 유저(순수 사용자)입장에서 사용 후 느끼는 평가는 만들다 만 듯한 느낌이었습니다.
이렇게 악평을 드리는 것은...
굳이 "열악한 3G 환경" 이라는 패널티를 감안하고도
너무나 불안정한 기능, 온라인 서비스 때문이라고 말씀드릴 수 있겠네요.

게시물, 덧글들을 작성하다가 너무나 쉽게 날아가는 불안정성.
이미 작성된 내용이 새로고침과 함께 날아간다거나,
특정 조건 속에서 다른 사람이 작성한 사진이 첨부된 게시물을
큰 화면으로 확인하기 위해 클릭할 경우 어플이 종료되는 현상들..
작은 화면에서 첨부된 사진을 클릭하면,
다른 사진으로 바뀌거나 다른 게시물로 바뀌어서
전혀 엉뚱한 게시물에 덧글을 달게되는 문제점들도 있죠.

iPad 용 어플임에도 사용 중 살짝 손가락만 닿아도 작성중인 내용이 날아가버리는
어이없는 유저 인터페이스 까지..
상당 부분이 안전성 및 유저 편의성 관련 부분이며,
이미 어플의 [기본 기능] 에 해당되는 부분이라고 생각하는데 말이죠. ㅎㅎ

물론, 버전이 업데이트된 후엔 '안정성' 이 더욱 떨어집니다..
새로운 기능이 한두가지 들어갔다는 이유로 그런 것 같은데,
유저입장에선 '큰 편리함이 보이지 않는 기능 한두가지 보다'
기존 기능의 안정성 상승을 더 바랄 것 같은데...

이거 뭐, "공짜로 어플을 사용하면서 불만은 굉장히 많으시군요." 라고 하시면,
할 말은 없습니다만, 그 많은 가입자들로 인해 이익이 창출되고 있는 회사가
만약, 그렇게 말한다면...
스스로 도태되는 길을 걷는다고 생각되네요.

암튼, 이거 페이스 북 하나만으로 이미 게시물 하나 분량의 내용이 작성되었다는 것...
이미 아웃입니다.. ㅡ_ㅡ;;

모바일용 [네이버] 어플 얘길 좀 해보죠.
이 어플을 사용 중 nhn쪽에 신고하여 수정된 기능이 하나 있습니다.
엄밀히 말해 수정이기도하지만, 변경점으로도 볼 수 있을 것 같네요.
"음악 인식 및 검색" 기능과 관련된 내용인데요.
기기주변에서 음악을 들려주면, 해당 음악을 인식 후 검색하여
화면에 네이버 검색결과창으로 검색된 음악을 출력해주는 기능입니다.
이 기능과 관련하여 조금 창피한(?) 기억이 있습니다. ㅎㅎ

이른 아침 출근길 전철에서 있었던 에피소드예요. 이어폰을 꽂고 iPad로 음악을 듣고 있다가,
해당 음악의 제목이 궁금해서 찾아보려던 중 네이버 어플의 음악검색 기능이 생각났지요.
그런데, 이어폰을 꽂고 있는 상태에서 '음악 인식' 기능을 사용할 경우
어떻게 처리될지가 많이 궁금해지더군요.
그래서, 이어폰으로 음악을 듣고 있는 상태로 '음악 인식' 기능을 실행했습니다.
그러자, 갑자기 이어폰을 꽂고 있음에도 불구하고 외부 스피커로 현재 재생중인 음악이
플레이 되는 것이었어요... =_=;;
그것도 매우 큰소리로...
전철 안에서 매우 당황했지요.. ㅎ;
부랴부랴 볼륨조절 버튼을 눌렀지만, '전혀 말을 듣지 않더군요'
네, 볼륨 조절이 안되서 약 15초 정도 전철 안에서 '바보' 가 되었습니다...
출근길 많은 사람들 앞에서 '제대로 테스트' 하신거죠.. ㅎㅎ
볼륨 조절도 안되고, 종료 버튼을 눌러보았지만 어플도 바로 종료가 되질 않아서
진땀 뺐던 기억이 있습니다.

이것은 기본적인 기능이라기보다는 매우 예외적인 부분으로 봐야할 것 같은데요.
DVD 플레이어를 테스트 하던 시절에도 스피커, 헤드셋 등 여러가지 환경에서
사운드 출력을 테스트 했던 기억이 있습니다.
음성, 음악 인식 기능과 관련하여 기본기능 외 이런 예외적인 부분의 테스트가
가능했다면 더 좋지 않았을까 하는 아쉬움이 남네요.

신고란을 통해 신고를 남겨서 현재, 이어폰을 꽂은 상태에서 음악 인식 기능 사용 시
이어폰을 사용중이라는 알림메시지가 추가되고, 볼륨기능 불가 등의 문제점은
정상처리되도록 변경된 것으로 알고 있습니다. ^^


이번엔 [카카오 톡] 얘기를 해볼까 하는데요..
최근, 가입자가 늘어나면서 유독 '렉(네트워크 지연)현상'이 심해졌다는 느낌이죠.
사용 중이신 분들이라면, 많은 분들이 공감하실꺼라고 생각됩니다.

공지에 나온 '황소' 엔진인지 '불스' 엔진인지로 바뀌면서,
정말 다양한 문제점이 쏟아졌습니다.

만약, [카카오 톡]을 설치할 수 있는 많은 하드웨어나 OS에서
그 다양한 플랫폼들에서 모두 테스트가 이루어질 수 있었다면,
더 좋지 않았을까.. 라는 큰 아쉬움이 남아서 적어봅니다.

조금 지난 기기입니다만, 아이팟 3세대(Wifi 모델) 에도
카카오톡이 설치가 됩니다. iOS 4.3 버전이구요.

제 동생에게 사용하라고 주었는데,
어느날 카카오톡을 보여주며 이런 얘길해주더라구요.

"오빠, 화면이 가려져서 메시지가 안보여"
"응? 뭔데?"
라고 하고, 화면을 보니...

카카오 톡을 보면, 메시지가 '말 풍선' 안에 담겨서 보여지는 것 아시죠~?
즉, 말풍선 배경 안에 문장이 들어가게되고, 메시지를 여러번 보낼 경우
해당 말풍선 들은 서로 겹치거나 뒤덮어선 안됩니다.
그러면, 메시지가 메시지를 덮게되어 상대방이 보낸 말들이 보이지 않게 되니까요.

그런데, 그런 현상을 보게 되었어요.
물론, 현재 버전에서 이 현상은 해결이 되었습니다만,
제 동생은 해당 버그버전으로 약2주 가까이를 불편하게 사용하고 있었습니다. ㅠㅡㅜ)
메시지가 쌓여서 내용 확인이 안되면, 대화창을 닫고 다시 열어야만 하는 불편함이 있는거죠.

너무나 쉽게 재현되는 버그여서,
솔직히 놀랬습니다.
QA에게 한마디 해주고 싶었어요.
"니들, 낮은 OS 버전이나 스펙 낮은 하드웨어는 테스트 안하냐..?"
라구요.

뭐, 그것도 그렇고..
다음 번 놀랬던 버그는 '3G' 환경에서 정말 자주 재현되는 문제점이었는데요.
문자로 대화를 하다보면, 상대방에게 메시지를 보낼 때
하나의 문장으로 보낼 수 있는 내용을 3~4번에 나눠서 보내게 되는 경우가 있잖아요..?
한번에 보낼 수도 있지만, 마음이 급할 경우 몇가지 단어만이라도 빨리 타자쳐서 [SEND] 버튼을
누르는 경우 다들 한번쯤은 있으실겁니다.

이 때, 3~4 번의 메시지를 보내면 메시지가 발송 중이라는
조그마한 신호가 표시되면서 열심히 전송하고 있다는 모습을 보이게 되는데,
갑자기 제일 마지막에 작성한 문자들만 날아가고 앞에 작성한 문자들은 계속
'전송 대기중' 상태로 남는 현상이 있습니다. 상당히 자주 발생하고 있죠.

네트워크 문제 일수도 있겠죠.
그런데, 왜 제일 마지막에 작성한 내용은 날아가고,
앞에 먼저 작성한 내용들은 날아가지 않고 전송중 표시만 맴도는 것일까요..?

대화 앞뒤가 안맞고 꼬이는 현상,
정말 많이 자주 봤습니다. ㅋ

아, 글을 쓰다보니 저런 현상도 있었군요.
(요 몇일 카톡을 안썼기 때문에 문제점이 수정되었는지 아직 수정되지 않았는지는 잘 모르겠습니다만,
앱스토어에 들어가서 '업데이트 항목' 을 보아도 새버전의 카카오 톡은 보이질 않더군요. 아마, 수정되진 않은 것으로
추정이 됩니다.)

Wifi 환경에서 발생된 내용이라 조금 더 의아했었는데요.
카카오톡에 메시지를 작성하고,
'제가 작성한 메시지를 상대방에게 발생할 때만, 상대방의 메시지를 받아오는 현상' 입니다.
좀 더 자세히 말씀드리면,
제가 메시지를 상대방에게 보내지 않고 있으면, 상대방의 메시지가 날아오질 않는거죠.
이 문제점은 3인 이상의 대화방에서 재현이 정말 잘되더군요.
한 15분간 아무도 말이 없기에 제가 메시지를 한번 보냈더니, 약 8줄가까이가 한번에
휙~ 하고 올라가는 것을 확인 했어요.
그런 식의 대화가 이어진 것이 한두번이 아니었고, 물론 해당 시간대가 오전 중...
아, 물론 카카오 톡 서버에 심한 네트워크 부하가 있었을 수도 있습니다.
그리고, 제가 사용했던 무선공유기가 설치된 사무실의 네트워크 부하가 있었을 수도 있겠죠.
하지만, 저와 대화하던 친구들 모두 함께 겪었던 상황이라..
적어도 제가 있던 사무실 네트워크의 부하는 아니었던 것으로 판단했습니다.

이 외에도 몇가지 더 있지만, 일단 카카오톡은 여기까지..

[네이버 톡] 에는 조금 더 재미난 버그가 있었습니다.
실제, 필드 테스트 중에서도 유저들이 네이버 톡과 다른 여러가지 프로그램들을
함께 사용해보지 않으면 알 수 없는 버그가 있었어요.
버그 신고란에 신고를 해볼까 했는데, 신고란이 없어서 찾다가 포기했습니다.. =_=;

조금 억울한 맘(?)에 재현조건을 다른 곳에 적어 놨었어요..
이렇게 올리게 될줄은 몰랐습니다만.. ㅎㅎ

재현조건:
1. iPod 음악을 플레이한다.
2. 네이버톡 실행하고, 한사람(A)이랑 대화창을 연다. (대화 진행 여부는 중요하지 않음)
3. 내가 친구로 등록한 다른 사람(B)이 나한테 문자를 전송해서
'띠링~' 하는 알림음이 울리는 순간, 갑자기 iPod에서 재생되고 있던 음악소리가 작아진다.
4. 화면을 iPod음악 플레이 화면으로 전환해서 볼륨바를 확인 해보아도, 볼륨바의 스크롤은 바뀌지 않았고 소리만 줄어든 현상이 확인 된다.


100% 재현율은 아니지만, 10번 중 8번의 비율로 재현되며,
사용기기는 iPad2, OS는 iOS 4.3 버전 이었습니다.
은근 자주 발생되는 문제라 좀.. ㄱ-;

물론, 해결책은 있습니다.
기기를 재시작하면 해결되고, 최근에야 알게되었는데
iPod 음악 플레이어를 종료시켰다가 다시 실행해도 해결은 되는 것 같더군요.

하지만, 자주 발생하고 있는 시점에서 '유저는 화가 남' 이라는 게 문제겠네요. ㅎㅎ

친형이 해당 업체(?)에 근무 중인 관계로, 가끔 농담반 섞어 투덜대기도 해봅니다.
"아, 형~~ 머야.. 이런 버그~ 실망!"
"내가 안만들어씀 -_-;"
"아~ 좀.. 사내 게시판에 올려보삼~"
"어.."
"근데, 이 버그는.. 쉽게 기본기능만 테스트 해선 안나오는 건데,
이런 부분까지 다 테스트 하고 나오긴 어렵나...?"
"어. 출시일이 정해져있어서..."
"..."

출시일이 정해진 시점에서 이미 아웃이죠.. ㅠㅡㅜ

예전, 삼성SDS에서 삼성전자 개발자와 DVD 플레이어를 놓고 싸웠던
좋지 않은 추억이 떠올랐습니다.

"이거, 이문제 고치지 않으면, 안됩니다!!
DVD플레이 후 기계 종료시키지 않은 상태로 DVD빼고, CD 를 집어넣으면
DVD 플레이어가 Set Hang 된다구요! (*Set Hang: 플레이어 비정상 종료현상)"
"에이~ 그런 식으로 사용하는 유저가 어디있어요..?
그리고, 이거 크리스마스에 출시해야 됩니다!"

... 으.. 응?

머..
이러저러한 불만들만 주구장창 늘어놓고 있는 게시물이 된 것 같습니다. ^^;
그동안 '바쁜 일정'을 핑계로 필드 테스트를 등한시한 제품들, 소프트웨어들을
너무나 많이 보아왔습니다.
네, 그래도 팔립니다.
전화가 잘 안되고, 전원이꺼지는 mp3 플레이어도 팔립니다.
사람들이 불만을 가지면서도 사주기 때문이죠.

물론, 100% 완벽한 제품은 없습니다.
이 세상 어느 제품을 가져와도 완벽한 제품이 없다는 사실은 인정하지만,
그렇기 때문에 일정에만 쫒겨 "어느정도 사용가능하면 내보내도 된다." 이건 정말 아닌 것 같습니다.
아주, 많이~~~ 아닌 것 같아요.

직업병 때문에 유난히 이런 버그들이 자주 보이는 것인진 모르겠습니다만,
요즘은 그러려니...
그냥 어플이 죽으면 죽는대로 iPad도 열심히 사용하고 있습니다. ㅎㅎ

게시물의 제목은...
결론이 아니라, 그냥 제 희망사항 같은 말이지요.
현실적인 제약 아래서,
정말 많은 부분들이 무시되고 많은 불편함, 버그 들이 양산되고 있는 것에
안타까움이 크더라구요.
하지만, '이래서 이건 넘어가고, 저래서 저건 넘어가자' 는 마인드라면,
굳이 전문 QA가 필요할까요..?
후후..


마무리가 좀 회의적이 되었습니다만,
모든 제품생산, 프로그램 개발 부서가 이런 마인드를 갖고 있는 것은 아니니까요.

네...
간만에 '이러저러한 버그들 모음' 게시물을 작성했더니,
속이 시원해지는군요~ ^^*

불만투성이에 두서없이 긴글 읽어주셔서 감사합니다~ (_ _)

결론: 필드 테스트.. 가급적이면 꼭 합시다!!!