플랫폼 비즈니스에서 DDD(Data Driven Decision)가 대두됨에 따라 데이터 신봉자가 굉장히 많아졌다. 즉, 숫자로 표현되는 정량적 데이터의 지위가 굉장히 높아진 것이다. 하지만 정말 유저를 이해하려면 정량적인 데이터와 함께 봐야할 것이 있다. 바로 정성적(Qualitative)인 데이터다.
이 글에서는 왜 정성적인 데이터가 중요한지 설명하고, 그 측정 도구 중 하나인 Clarity를 알아본다.
정성적 데이터
정성적 데이터는 정형화되지 않은 데이터를 말한다. 서비스에서 사람들이 어떻게 생각하고 느끼는지에 좀 더 초점을 맞춘다. 다음과 같은 특징이 있다.
- 숫자가 아닌 텍스트로 이루어져 있다.
- 분석에 확률과 통계가 활용된다.
아예 없던 분야는 아니다. 데이터 마이닝이라는 학문도 있고, 워드 클라우드(word cloud)라는 도구도 있다. 우리 서비스에 대한 사람들의 목소리를 어떻게 시각화할까? 어떤 인사이트를 도출해낼까? 등의 고민을 계속 해왔고 그 결과가 오늘날의 정성적 데이터 분석의 시작이 아닐까 싶다.
정성적 데이터 예시
가장 대표적인 데이터가 어플리케이션의 별점이다. 별점은 사용해보고 좋으면 높은 점수를 주고 별로면 낮은 점수를 주는, 어쩌면 기분 점수라고 불러도 할말이 없는 지표다. 하지만 별점은 앱 서비스를 하는 기업에서 굉장히 중요하게 관리하는 점수다.
설문을 통해 만족도를 조사하거나 불편한 점, 개선할 점을 받는 것도 마찬가지다. 중요한 점은 이런 정성적인 데이터는 믿기 힘들다는 것이다. VoC(Voice of Customer)도 정성적 데이터의 범주에 넣을 수 있다.
알게 모르게, 우리는 정성적인 데이터를 잘 모아왔다.
정성적 데이터의 강점
우선 사용자에 대한 깊은 이해를 할 수 있다. 정량적인 데이터로 추측했던 가설을 사용자를 관찰함으로써 확신할 수 있다는 것이다. 우리는 왜? 라는 질문에 대한 해답을 항상 추측과 가설 검증으로 해결했다. 이제 눈으로 보거나 직접 목소리를 들어서 해결할 수 있는 경지라는 점이다.
종합적인 의사결정에 있어서도 중요한 보조자료로 쓰일 수 있다고 생각한다.
왜 뒷전일까?
그렇다면 이렇게 중요한 정성적 데이터는 왜 뒷전일까? 심지어 정량적인 데이터 분석으로 한계가 온 상황에서도 정성적인 분석을 하지 않는 경우도 많다. 아마 다음의 3가지 이유가 아닐까 싶다.
- 비용
- 측정 도구
- 모호한 해석
어쨌든 우리는 비즈니스 임팩트를 만들어내는 사람들이니까. 비용 대비 임팩트를 선형적으로 기대할 수 있는 곳에 우선투자한다. 모호할 수 있는 정성적인 데이터에는 큰 관심을 받기 힘든 것 같다.
또한 혹자는 정성적 데이터가 고도로 발전된 정량적인 데이터 분석으로 전부 대체할 수 있다고 말한다. 사실 이 의견엔 나도 어느정도 동감한다. 우선순위도 정량적 데이터 분석이 높은게 맞다.
하지만 종단에는 분명 함께 가야하는 분야임에도 의심의 여지가 없다.
Clarity
Clarity는 Microsoft의 오픈소스 사용자 분석도구다. 랜딩페이지를 보면 Clarity의 목적이 아주 분명히 나타나 있다.
사용자 이해, 제품 개선, 비즈니스 개선
어쩌면
사용자 이해 -> 제품 개선 -> 비즈니스 개선
일 수도 있겠다.
여튼 Clarity가 뭘 하는 서비스냐면, Session Replay 기능을 제공해준다. 무려 공짜로! 우리가 정말 알고 싶지만 알 수 없는 유저의 브라우져를 통째로 들여다 볼 수 있다. 아래 사진은 내 블로그에 붙혀본 Clarity 화면인데, 어떤 유저가 내 사이트의 특정 주소에 들어와서 한 모든 활동을 동영상으로 보여준다.
내 예상인데, 엄밀히 말하면 동영상은 아니다. 이런 대기업이 세상 모든 유저들의 기기에서 허락도 없이 동영상을 녹화한다면 매우 악한 죄질의 범죄일테니까. 이 웹문서에 대한 정보는 이미 온세상에 공개되어 있고 사용자가 내 사이트에서 머무른 모든 기록들, 가령 어떤 좌표를 클릭하고 어떤 경로로 마우스를 움직이고 이동한 정보 같은걸 조합한 다음 그대로 재현해낸 것이다.
Clarity 설치
Clarity의 설치는 허탈할만큼 쉽다.
프로젝트 생성 : 시작을 누르면 새 프로젝트를 생성할 수 있다. 하나 만들어보자.
추적코드 심기 : 두가지 방식이 있는데 하나는 타사 플랫폼에 설치, 두번째는 수동으로 설치다. 타사 플랫폼은 제공하는 플랫폼이라면 써도 되는데, 아마 거의 없을것이다. 두번째 수동으로 설치를 눌러준다.
그럼 아래와 같은 코드를 부여받게 되는데, 이 코드가 심어져 있는 사이트는 내 사이트라는 인증같은것이다. 이 코드는 사용자가 내 사이트에 들어왔을 때 자동으로 실행되어 Session Replay를 위한 모든 메타데이터를 쿠키에 담아 Clarity 서버에 전송한다.
이제 이걸 우리 웹사이트나 앱의 코드에 넣어주기만 하면 된다.
끝! 너무 쉽다. 이제 배포 후 Clarity가 우리 웹사이트를 인지하고 사용자의 데이터를 수집할 때까지 기다리면 된다. 경험 상 얼마 걸리지 않는다.
Clarity 설정
배포되는 동안 간단한 설정을 해보자. 설정 탭에 들어가면 아래와 같은 화면이 나온다. 웹사이트의 정보를 입력하고 저장버튼을 누른다.
여러가지 통합이 있는데, 거의 쓸모가 없고 그나마 Google Analytics를 사용하고 있다면 이건 꼭 등록해주는게 좋다.
실제 GA와 연동하여 보면 인기 페이지의 히트맵이나 세션 리플레이를 확인할 수 있다.
Clarity의 강점
Session Replay
세션 리플레이는 Clarity의 핵심 기능이다. 사용자의 액션(클릭, 마우스 이동, 스크롤, 머무른 시간 등)을 모두 추적한다. 내가 제공하는 웹사이트의 웹문서 정보와 사용자의 액션 정보를 결합하면 아래와 같이, 마치 사용자의 화면을 녹화한 듯한 연출이 가능하다.
진짜 사람은 아니지만 사람 흉내를 내는 무언가라고나 할까.
이 기능으로 사용자들을 완벽하게 관찰할 수 있다. 어떤 게시글의 어떤 부분을 자세히 읽는지, 스크롤이 자주 / 끝까지 발생하는 게시글은 어떤 후킹 모먼트가 있었는지, 특정 버튼은 어느 시점에 클릭하는지 등등 수많은 정성적 데이터를 발굴해낼 수 있다.
열지도(Heat map)
열지도는 사용자가 어디를 가장 많이 클릭했는지에 대한 정보를 모아 지도로 만든것이다.
정량적인 데이터에 매몰되어 많이 하는 실수를 하나 있다. 가령 버튼을 하나 만들어놨는데 왜인지 클릭수가 적다. 상황을 타개하려 버튼의 색을 화려하게 바꾸고 누르고 싶은 문구를 넣고 실험을 한다. 하지만 클릭수는 오르지 않는다. 무엇이 문제인지 모르는 게 문제인 상황이다.
- 대다수의 유저가 그 버튼의 근처로 내려가지도 않는 상황이다 -> 스크롤 히트맵 분석
- 버튼의 근처는 가지만 버튼 주변에 데드클릭이 발생한다 -> 클릭 히트맵 분석
- ...
생각보다 히트맵을 통해 개선할 수 있는 UI 개선사항이 꽤 많다. Clarity는 이 기능가지 무료로 제공한다!
AI 분석
나는 AI분석 또한 획기적이라고 생각했다. 녹화 영상이나 히트맵을 AI로 분석해서 인사이트를 뽑아내는 것이다. 사실 정성적인 데이터가 운용하기 힘든 이유 중 하나는 설문이나 VC를 하나하나 보고 옮겨적고 모아서 인사이트를 도출해내는데 엄청난 시간이 든다는 점이다. 정량적인 데이터처럼 데이터 분석 도구가 잘 되어있지 않으니까 말이다.
아래와 같이 레코딩이나 히트맵 탭의 우측 상단에는 열지도 요약, 녹음/녹화 요약 이라는 버튼이 있다. 이걸 누르면 정말 놀라운 인사이트를 얻을 수 있다.
AI 분석은 이 방대한 세션 자료들을 토대로 AI 분석 결과를 내려준다. 아래 사진은 내 블로그의 가장 조회수 높은 블로그 게시글의 최근 10개 세션을 분석한 AI 인사이트 리포트다.
성공적인 달성
- 몇몇 사용자는 Sentry를 효과적으로 다루는 방법에 대해 관심을 가지고 글을 읽었습니다.245
- 이들은 글의 내용을 선택하거나 클릭하면서 주요 포인트를 파악하려고 노력했습니다.245
- 이들은 글의 예시 코드를 살펴보거나 복사하려고 시도했습니다.245
실패한 시도
- 한 사용자는 Sentry 글을 열었지만 바로 페이지를 숨겼습니다.
- 두 사용자는 Sentry 글을 열었지만 읽지 않고 다른 글로 이동했습니다.
- 한 사용자는 Sentry 글을 열었지만 1초도 안되서 닫았습니다.
- 한 사용자는 Sentry 글을 열었지만 읽지 않고 그대로 두었습니다.
- 한 사용자는 Sentry 글을 열었지만 바로 페이지를 숨겼습니다.
주요 통찰
- Sentry 글은 일부 사용자에게 유용하고 흥미로운 정보를 제공했습니다.
- 그러나 대부분의 사용자는 Sentry 글에 대해 무관심하거나 관심을 잃었습니다.
- 웹사이트는 Sentry 글의 제목이나 요약을 개선하거나, 다른 관련 글과 연결하거나, 사용자 피드백을 수집하거나, 글의 가독성이나 구조를 개선하여 사용자의 관심과 만족도를 높일 수 있습니다.
정말 놀랍지 않은가. 나는 이 기능에서 조금 무서워지기까지 했다. 얼마나 많은 일자리가 사라질까..
마스킹
보통 이런 사용자의 정보를 가져오는 경우엔, 개인정보 이슈에 아주아주 취약할 수밖에 없다. 비밀번호를 입력하는 내 모습이 다 기록되고 있다면 얼마나 섬뜩할지.
Clarity에서는 사전에 이런 상황을 방지하고자 숫자가 보여지는 부분이나 input 태그 등은 자동으로 마스킹을 해준다. 아래 사진을 보면, 게시글의 타이틀에 민감정보라고 판단되는 부분에 마스킹이 되어있다.
옵션 탭에서 어느정도 마스킹할지는 지정할 수 있다. 다 마스킹해도 알아보는데 큰 문제는 없다만 아무것도 안하는건 문제가 될 것 같다. 나는 균형잡힘으로 선택했다.
Clarity의 아쉬운 점
유저 세그먼트 분석
세그먼트 분석은 제공한다. 아래 사진을 보면 생각보다 다양하면서도 Clarity만의 필터들을 제공해주는 것 같아서 잘쓰면 굉장히 유용하겠다 싶은 생각이 들었다.
다만 유저 세그먼트 분석이 안된다는 점이 너무나도 아쉽다. Clarity에도 ClarityID라는 값으로 유저를 추적하긴 한다. 아마 device ID 기반 UUID같은데, 중요한건 우리 유저와의 매칭이 전혀 되지 않는다는 점이다. 우리 서비스 DB의 유저와 Clarity 유저가 매칭되지 않으면 세그먼트 분석은 반쪽짜리다.
Google Analytics와의 얕은 결합성도 아쉽다. Microsoft와 Google이라는 거대기업 간 협력이 그리 쉽지만은 않겠지만 우리 입장에서는 너무 적은 데이터만 가져울 수 있는게 아닌가 싶다. GA 탭에 들어가보면 그리 많은 정보가 있진 않다.
AI 분석
위에 장점으로 쓰긴 했지만, 아직 아쉬운건 사실이다. 분석할 수 있는 양도 적고 그렇게 임팩트가 크진 않다. 유저 세그먼트 분석이 되지 않기 때문에 특정 페이지나 스크롤, 클릭 등으로 세그먼트를 지정해 분석해야한다.
AI 분석 기능이 조금 더 다양하게 나와줬으면 좋겠다. 그래도 고무적인 점은 Microsoft가 AI 투자의 선두주자이고 Clarify에도 어떤 AI기능을 더 원하는지를 묻는 탭이 있을 정도인 만큼 추가적인 지원을 기대해봐도 좋을 것 같다.
마치며
나는 일전에 이 Session Replay 기능이 너무 쓰고싶어서 DataDog을 사달라고 회사에 말씀드렸었다. 사용자의 기기에서 오류가 났을 때 어디서 어떻게 났는지, 블랙박스가 궁금해서였다. 순전히 프론트엔드 개발자의 입장에서였다. 하지만 생각보다 이 기능은 비즈니스 임팩트를 내는데 더 유용하게 쓰일 수 있다는 점을 배웠다.
그래서 유저가 무엇을 하고 있는가?
이 질문은 언젠가 우리가 집중해야할 문제라고 생각한다. 유저의 행동을 직접 관찰할 수 있는 몇 안되는 기회를 잘 살려서 좋은 서비스를 만드는 경험을 해보고 싶다. 오늘 소개한 정성적 데이터와 Clarity라는 서비스가 도움이 되었으면 좋겠다. 그리고 계속 무료였으면 좋겠다..!