KEEP!T Column: 여러분은 어떤 뉴스를 보고 싶으신가요? [뉴스 빅데이터의 파일럿 분석 발표]

keepit (69)in #kr • 6 years ago

KEEP!T 칼럼: 여러분은 어떤 뉴스를 보고 싶으신가요?

안녕하세요, KEEP!T 입니다.
KEEP!T 팀에서 빅데이터를 담당하고 계시는 @sifnax 님의 도움으로, 상당히 흥미로운 데이터 분석 하나 소개해 드리고자 합니다.

빅데이터 분석은 수많은 분야에서 이뤄지고 있습니다.
또한 자연어로 이루어진 데이터들도 수많은 방법들을 만들어내면서 다양한 분석이되고 있습니다. 단순히 빈도를 분석하기도 하고, 한단계 나아가 감정이나, 가짜인지 여부도 분석해 보기도 합니다.

여러분들이 늘상 보고 있는 뉴스들이 있을 건데요, (특히 암호화폐에 관심이 많은 분들)
그럼, 과연 이 뉴스들을 통째로 분석하면 어떻게 될까요?

저희 KEEP!T팀에서는 상당히 오랜기간 동안 여러 개 뉴스 사이트의 데이터를 전수 조사 및 축적하고 있으며, 기초적인 분석들을 진행해 나가고 있었습니다. 그래서 오늘은 그 분석 데이터의 일부를 말씀드려 보고자 합니다.

몇 가지 전제 사항부터 말씀 드리고자 합니다.

일단 한글 자연어 분석은 상당히 어렵습니다.

연구의 진척도가 영어에 비해서 떨어지기도 하지만,
용어 통일의 문제도 있고, 단어의 변화형태가 무척 다양하여,
기계적 분석을 하기에 영어보다 적합하지 않습니다.

이에 일단 저희가 자주 참조하는 '영문' 암호화폐 전문 사이트 2개를 선정하여, 비교 분석을 해 보았습니다. 그리고 왓슨을 사용하여 감정 분석을 시도하였습니다. 이런 작은 파일럿 스터디를 진행하고 상당히 흥미로운 결과를 볼 수 있었습니다.

그래프를 보시기 전 전제 사항을 설명드립니다.
'ㄱ' 사이트의 뉴스 2356건, 'ㄴ' 사이트의 뉴스는 4511 건을 분석하였습니다.
가로축은 -1 ~ 1 까지 이며, 가장 강한 부정이 -1, 중립은 0, 가장 강한 긍정은 1 로 점수를 매겼습니다.

'ㄱ' 사이트의 그래프 입니다.

일단 봉우리가 하나 있는 것 같습니다. 0~0.5 점 정도에 하나의 봉우리가 널찍이 퍼져 있는 모양으로 '약한 긍정' 정도의 기사가 가장 많네요.
축에도 주목하셔야 합니다!!

가로축을 보시면 -0.5 보다 더 낮은 수치는 보이지 않습니다. '강한 부정'에 해당하는 기사는 거의 없습니다. 반대로 1.0 에 해당하는 기사도 없습니다.

조금 과대해석을 덧붙여 보자면 기사를 선정하는 기준이 어느정도 일관되거나, 최소한 일정한 기준의 어조를 유지하고 있으며, 한 이슈에 대해 아주 강한 긍정적 태도나 강한 부정적 태도는 거의 보이지 않는 것으로 추정됩니다.

'ㄴ' 사이트의 그래프 입니다.

아까의 그래프와는 조금 달리 꽤 강한 부정 (약 -0.8 정도) 까지도 보이는 글이 있고,
반대로 아주 강한 긍정에 해당하는 글들도 여럿 있습니다.

조금 더 볼까요?

마치 이런 2개의 봉우리가 있는 것 처럼 보이지 않나요?

이 봉우리에 대해서 조금 더 살펴 보았습니다.

빨간 봉우리에 해당하는 단어 를 꼽아보니,

시장 상황을 의미하는 bitcoin, price, market 과 같은 단어들이 많이 잡혔습니다.
(좌측은 제목 분석, 우측은 본문 분석입니다.)
이 매체에서는 시장 분석글이 상당히 많아, (기계적 중립을 지키려는?) 시장 상황을 반영하는 글들의 감정 분석 결과가 많이 포함되어 있을 것으로 생각되네요.

초록 봉우리에 해당하는 단어를 꼽아보니