[아카이브] 데이터 주도 디자인 (data-driven design)을 옹호하며

[Zerasion 4]

Voosco 님이 작성하셨던 포스팅의 아카이빙입니다.

---

 

in defence of data-driven design

제목은 데이터 주도 디자인을 옹호하려는 듯 지어져 있지만, 실제로는 전통적 게임 디자인 방법론과 징가를 필두로 한 소셜 게임 개발사들이 주창하는 과격한 데이터 주도 디자인 사이의 절충점에 대해 설명하는 내용입니다. 

구체적으로 찾아본건 아니라서 모르겠는데 최근 이 사이트에서 데이터 주도 디자인 vs 전통적 게임 디자인 사이의 논쟁이 있었던가봅니다. 이건 2012년 말경에 잠잠해졌던 걸로 알았는데 이곳저곳의 사이트에서는 여전히 산발적인 전투?!가 벌어지고 있는 듯. 아니면 그저 패잔병 처리 과정이거나요.

원문주소 : 
http://www.gamesindustry.biz/articles/2013-11-15-in-defence-of-data-driven-design

데이터는 결코 천재적인 디자인을 대체할 수 없을 것이다. 그저 보완할 수 있을 뿐이다.

언제나 (최소한 거의 대부분의 시간동안) 온라인에 접속해 있을 수 있는 기기의 출현은 지난 십년간 게임이 만들어지고 팔려나가는 구조 속에서 일어난 단일한 일로는 가장 큰 변화였다. 이는 새로운 비즈니스 모델을, 게임 플레이와 인터랙션의 새로운 방법을, 소프트웨어를 구입하고 지불하는 새로운 방법을 가능케 했다. 이는 심지어 게임을 개발하는 새로운 방법 또한 만들어냈다. 플레이어들로부터 개발자에게 이르는 정보의 흐름은 고객들이 게임에서 실제로 무슨 일을 하고 있는지 개발자들이 직접 들여다 볼 수 있는 방법을 최초로 제시했으니, 이 새로운 가능성에 감사할 일이다. 

나는 이 모든 것들이 개발할 가치가 있으며 긍정적이라고 믿긴 하지만, 여러 험난한 요소들이 놓인 길이라는 것을 제외하고도, 이들 중 몇몇은 다른 경우보다 더 문제적이라는 점을 깨달았다. 새로운 배급망은 게임샵을 배제하고 있다. 새로운 비즈니스 모델은 몇몇 인구학적 계층들 또한 완전히 배제하고 있다. 모든 게임에서 부분적으로라도 만나게 되는 맹목적으로 멀티플레이어와 소셜 요소들에 집착하는 측면들은 게임을 개발하는 과정에서 끔찍한 결정들을 야기할 수도 있다. 분명히 부정적인 부분들이 존재한다. 다르게 말해보자면, 이들은 대부분 긍정적인 측면에 가려진다. – 새로운 종류의 게임, 새로운 상호작용, 창의적인 팀에게 주어지는 새로운 기회와, 이전에 게임을 접해본 적 없던 거대한 새 유저층.

이 모든 측면들에도 불구하고, 나는 게임의 데이터가 개발자에게 보고됨으로써 개발 과정에서 얻게 될 이익은 이견의 여지없이 명백한 개선점이라고 바보처럼 믿었었다. 이전의 모델에서 개발자는 게임을 디스크에 담아 시장이라는 야생에 내어놓고 나면  그 이후에는 돌아보지 않는다. 게임의 어떤 요소가 잘 동작했고 어떤 요소가 그렇지 않았는지는 단편적인 일화와 전문적인 리뷰어들의 사색, 또는 동료와 같은 업계인들을 통해서만 알 수 있었다. 심지어 많은 훌륭한 스튜디오에서 채택한 포스트모템을 통해서조차, 이전 게임에서 무엇이 잘못되었는지에 대해 내부 프로덕션의 관점에서만 파악할 수 있을 뿐 실제 유저 경험의 관점에서 무엇이 잘되고 잘못되었는지를 온전히 파악하기란 어려웠다. 새로운 모델은, 적절한 리포팅 시스템을 갖출 능력이 있는 경우에, 플레이어의 상호작용에 대한 자세한 통계를 파악할 수 있게 해주며, 많은 경우 출시 이후에도 디자인상의 약점을 밸런싱하고, 고치고, 개선하게 해준다. 이는 반론의 여지없이 더 나은 점이다. 

이제 나는 내 책상 너머의 공간에 “인터넷에서 절대 ‘반론의 여지없이’ 라고 말하지 말 것”이라는 중요한 슬로건이 쓰인 포스터를 붙여놓고 싶다. 또는 학술 논문에서. 아니면, 그럴 수만 있다면, 모든 곳에서. 그건 분쟁으로의 초대이자, 인터넷 상의 논증이라는 변덕스러운 신에게 엉덩이를 까보이고 혀를 내밀어 도발하는 것 (아마도 이 둘을 동시에 하긴 어렵겠지만)과 같다. 지난 몇 주간은 게임 디자인에서 ‘지표 (metrics)’를 사용하려는 움직임에 대항하여 형성된 반발로 가득했다. 이 사이트 및 다른 사이트에서도, 게임 개발에 지표를 접목하려는 시도는 플레이어의 신뢰를 심리학적 잔재주를 통해 악용하고 남용하려는 시도이자, 냉소적이며 진정성이 결여된 노력이고, 창의력과 열정에 대한 반대항으로 다루어졌다. 

이러한 주장의 문제점은, 적어도 나의 관점에서는, 이들이 말하는 지표의 사용은 내가 보기에도 말도 안되는 것이며, 재능있는 게임 디자이너들이 실제로 이런 데이터를 어떻게 사용하고 있는지를 무시한 발언이라는 것이다. 이런 주장들을 적용하면, 개발 스튜디오는 지표를 광범하게 이용하여 라이브 서비스를 진행하며 게임 디자인은 배제한 채 메마르고 수학적인 접근법만을 이용하여 단순반복적 과정을 통해 다양한 변수들의 조합을 맞춰서 최적화된 수익만을 위해 질주고, 그 절정에서는 게임의 복잡한 방정식들이 기계처럼 맞물려 돌아가면서 완벽한 하모니를 만들어내어 썩은 동태 눈으로 클릭질만 계속하는 유저부대의 지갑에서 자발적인 지출을 뽑아낸다. 

이런 디스토피아적 비전은 흥미로운 SF스토리이거나 포럼에서 캔디 크러시 사가를 두고 호통을 쳐대는 부류의 몹시도 진부한 소리에 불과하다. 결코 어떠한 종류의 객관적 현실을 반영한 얘기일 수가 없다. 아마도 어딘가에는 데이터를 이런 식으로 사용하는 회사가 있을 수 있겠지만, 애초에 쭈글쭈글한 똥덩어리를 수많은 통계적 퇴행으로 아무리 닦아본들 결코 반짝거리게 만들 수 없듯이, 그런 회사가 성공할 거라는 생각은 들지 않는다. 이것이 바로 이 논쟁의 기저에 깔린 전제이다. 애초에 어떤 스프레드 시트의 마법사라도 위에서 설명한 것과 같은, 창의력의 경이와 매력적 게임 디자인이 만들어내는 스파크를 결여한 게임을 가져다가 아주 작은 차이라도 만들어 낼 수는 없다. 바로 이런 스파크야 말로 메마르고 알기쉬운 지표를 게임을 발전시키는데 유용한 도구로 사용할 수 있는 근간이기 때문이다. 

지표는 게임 디자인을 대체할 수 없다. 지표는 그저 알려줄 뿐이다. 이건 강조할 가치가 있다. 지표는 게임 디자인을 대체할 수 없다. 하지 못한다. 지표가 할 수 있는, 멋지게 할 수 있는 일이란, 재능있고 통찰력있으며 창의적인 게임 디자이너에게 어디에서부터 작업에 착수해야 할 지에 대한 탄탄한 기반을 제공하는 것이다. 지표 데이터는 다수의 플레이어들이 게임의 특정한 부분에서 막혀 있는지를, 또는 특정한 행동이 의도된대로 사용되지 않고 있는지를, 아니면 디자이너가 의도한 핵심 전략을 놓치고 있는지를 말해줄 수 있다. 지표 데이터는 게임 디자인 팀에서 게임의 어떤 서브 시스템이 무시되고 있지나 않은지, 게임의 어떤 요소가 플레이어들로 하여금 게임을 완전히 포기하게 만들고 있지는 않은지, 어떤 거래 시스템 (현금이든 가상화폐이든)의 밸런스가 무너져 있으며 동작하지 않는지를 알려줄 수도 있다. 한편으로 지표 데이터가 할 수 없는 일은, 디자이너에게 이들 문제를 ‘어떻게’ 고칠 것인가 하는 부분이다. 

지표는 당신에게 문제가 어디에 있는지를 알려줄 수 있다. – 예를 들어 이전에 우리는 대부분의 플레이어들이 게임의 엔딩을 보지 않은 채 플레이를 중단한다는 것까지만 알 수 있었다. 이제 우리는 구체적으로 어떤 지점에서 플레이어들이 포기하며, 가로막힌 장애물을 통과하려고 플레이어들이 어떤 시도를 하다가 실패했는지도 알 수 있다. 문제를 어떻게 해결할 것인가 – 이 문제에 대한 당신의 이해가 어디에 기반하는가 (레벨 디자인의 문제인가? 좀더 근본적인 밸런스 상의 문제를 시사하는가? 몬스터들이 문제인가? 아이템이? 물리엔진이?) 그리고 이를 해결하기 위해 어떤 행동을 할 것인가? (보스 몬스터의 체력을 낮출 필요가 있는가? 승리 조건의 난이도는 그대로 두되 좀더 명확하게 제시할 필요가 있는가?) 하는 문제들은 여전히 창의력과 숙련된 게임 디자이너의 영역에 확고하게 자리하고 있다. 스프레드시트는 어떤 해답도 제시할 수 없다 – 스프레드 시트가 할 수 있는 일은 올바른 질문이 무엇인가를 제시하는 일이며, 이는 어둠 속에서 주위를 더듬거리다가 제대로 찍었기를 기대하며 작업을 시작하는 것보다는 훨씬 낫다. 

아울러 지표는 당신의 해결책이 제대로 동작하는가를 확인해 줄 수도 있다 – 그것이 바로 반복 테스트의 기능이다. 해결책을 적용하고, 테스트하고, 제대로 동작하는지 확인한다. 잘 동작하지 않으면, 뭔가 새로운걸 생각해낸다. 여기에 다양한 멋진 방법론적 용어를 갖다 붙일 수 있을 것이다. (다음번 파티에서 베이지언 학습이라는 용어를 사용해보자. 꽤 재미있을 것이다.) 그러나 궁극적으로, 방법론은 반드시 지표를 수집하고 처리하는 과정과 연계될 수 밖에 없다. 그리고나면 당신이 적용한 새로운 케이스들을 테스트하고, 뭔가가 제대로 동작할 때까지 반복 작업에 들어가야 한다. 이는 비교적 냉철한 기계적인 작업이다 – 그러나 기계적이라고는 해도 이 과정에 고전적인 게임 디자인의 재능이 없다면 아무런 의미가 없어진다. 데이터가 말하는 것이 무엇인지를 알아내고 이에 대응하기 위한 새로운 방법을 고안해내는, 매 반복 테스트마다 새로운 시스템을 디자인해서 넣을 수 있는 능력이 없다면 말이다. 지표로 할 수 있는 이런 작업들 – 가장 중요한 부분이다! – 을 무시하고 지금까지 지표가 게임 디자이너들을 단순히 스프레드시트나 만지작거리는 작업자로 위축시켜왔다고 주장하는 것은 전적으로 잘못된 설명이다. (동시에 고전적인 게임 디자인이 꾸준한 스프레드시트 작업과 함께할 때 최고의 효율을 발휘해왔음을 상기한다면, 고전적 게임 디자인을 무시하는 주장이기도 하다.)

라이브 서비스 중인 게임으로부터 지표를 수집하는 능력은 강력하며 중요한 도구가 될 수 있다. 그러나 이에 대한 비판들은 지표의 강력함과 중요성을 지나치게 높게 평가하는 듯 보인다. 지표는 훌륭한 디자이너의 분석과 통찰력이 없이는 전적으로 이해할 수 없는 데이터 덩어리에 불과하며, 지표가 보여주는 문제점들을 해결할 수 있는 참신한 해결책과 그걸 떠올릴 수 있는 창의력을 가진 사람들이 없이는 전적으로 무의미하다. 

나는 지표의 비판론자들이 그 영향력을 과대평가하듯이 지표의 가장 열광적인 몇몇 지지자들 또한 실수를 하고 있다고 믿는다. 그들은 데이터를 남용하려 시도하고, 게임 디자인에 있어서의 창의력, 통찰력, 그리고 영감을 인정하고 우선순위에 놓는데 실패했다. 심지어는 끄적댄 낙서를 반복적 A/B테스트를 통해 셰익스피어로 진화시키는 것이 가능하다고 믿는 불순한 죄를 저지른 것인지도 모른다. 이는 당연하게도 불가능하다. 하지만 이러한 실수들이 게임 디자인과 지표의 더 큰 그림을 대변할 수는 없는 노릇이다. 게임 개발에 있어서 데이터 분석과 피드백이 가진 환상적인 잠재력을 몇 가지 실수 (그리고 데이터 주도 디자인은 부분유료화와 근본적으로 연결되어 있다고 가정하고, 부분유료화가 싫으므로 데이터 주도 디자인도 싫다고 생각하는 경향) 때문에 비판하는 것은, 깜짝 놀라 울고 있는 아기를 빠르게 식어가는 목욕물 속에 버려두고 떠나는 것과 같다. 데이터 주도 디자인에 대한 반발은 부당하다. 지표는 게임 디자인에 있어 훌륭한 개발 도구이며, 프로 개발자에게 핵심적인 능력이자 게임이라는 매체의 미래를 위한 중요한 도약이다.

[Zerasion 4]

elofwind 님이 작성하셨던 리플라이의 아카이빙입니다.

---

 

다들 아시리라 생각하지만 데이터 주도 디자인에 대해 제가 느끼는 바를 그냥 짤막하게 정리해 보았습니다. (사실 본문과 별 다른 차이도 없습니다)

1. 지표는 제대로 된 설계와 분석과 해석을 할 수 있는 사람이 존재할 때 의미가 있습니다.
- 흔히 쓰는 MAX CCU / ARPPU / PU 등의 매우 거대하고 쉬운 지표는 아예 논외로 칩니다.
- 문제는, 보통 '무엇에 대해 알고 싶은가?'의 정의조차 매우 두리뭉실하고, 따라서 제대로 된 설계가 이루어지기 힘듭니다.
- 제대로 된 설계가 이루어 지지 않은 지표는 그냥 쓰레기입니다.
- 제대로 된 설계를 하려면, 필연적으로 게임 디자인과, 통계지식이 필요합니다. 그런데 이걸 할 수 있는 사람이 흔할까요?
- 설계가 잘 되면 그 다음은 분석과 해석 영역인데, 하나의 지표를 두고 어떻게 해석하느냐에 따라 게임디자인은 매우 달라지게 됩니다.

2. 게임 디자인에서 데이터가 디자인의 방향성 자체를 결정할 수는 없습니다.
- 자동차가 없던 마차 시대에 모두의 의견을 취합하면 매우 잘 만든 마차가 나오지 자동차는 나오지 않습니다.
- 데이터도 동일합니다. 이미 벌어진 일과, 과거의 사례를 기반으로 추론하기 때문에 이미 존재하는 그 이상의 게임 디자인이 나올 수는 없습니다.
- 즉, 필연적으로 숙련된 게임 디자이너의 통찰과 직관이 방향성 결정에 매우 중요한 요소가 되며, 데이터는 그에 대해 정량적으로 논리적 백업을 하는 요소가 됩니다.

3. 그럼에도 불구하고 데이터는 필요합니다.
- 모든 것이 명백하게 눈에 띄는 상태면 모두가 행복하겠지만, 현실은 언제나 안갯속입니다.
- 어떤 통찰과 직관에 의한 방향성 설정을 위해, 흐름의 파악을 위한 데이터 분석은 그 안개를 헤쳐나가기 위한 등불, 즉 도구가 될 수 있습니다.

4. 위 내용은 디자인에 관련된 부분으로, 데이터마이닝에 의한 CRM 형태의 논의는 아닙니다. 
- 게임의 비즈니스 모델이나 컨텐츠 소모에 데이터마이닝을 결합한 형태의 디자인은 충분히 존재할 수 있습니다.
- 예를 들면, 특정 사용자는 특정 컨텐츠를 많이 소모하기 때문에 그 쪽에 할인 이벤트를 펼친다던가, 혹은 추가 컨텐츠를 그 쪽으로 유도한다던가, 만약 시나리오 분기가 있다면 그 쪽으로 몰아준다던가, 이런 부분으로의 발전가능성은 1~3번의 내용과는 다른 차원의 이야기고, 이 쪽은 이 쪽대로 연구/개발/논의할 필요성이 충분히 존재한다고 생각합니다.