한·미 공동연구팀
알고리즘 수행시간 최소화
빅데이터 효율적 처리 가능
기존 대비 최대 100배 큰 용량의 데이터를 효율적으로 분석할 수 있는 분석시스템이 한·미 공동연구진에 의해 개발됐다.
KAIST는 큰 용량의 중간데이터가 생겨나는 기존 알고리즘의 단점을 극복해 기존 대비 최소 10배, 최대 100배 큰 텐서 데이터를 분석할 수 있는 시스템을 개발했다고 14일 밝혔다.
3차원 이상의 고차원 배열을 가진 텐서는 의료 데이터나 네트워크 트래픽, 소셜 네트워크 등 다양한 고차원 데이터 분석에 쓰일 수 있지만, 데이터가 커짐에 따라 확장성이 떨어지는 기존 알고리즘으로는 분석하는 데 한계가 있었다.
KAIST 강유 교수팀과 미국 카네기멜론대학 크리스토스 팔로웃소스(Christos Faloutsos) 교수팀이 참여한 공동연구팀은 데이터의 희소성(sparseness)을 활용해 중간데이터를 줄이고 알고리즘 수행시간을 최소화해 데이터 분석 능력을 최대화시켰다.
실제 이 시스템으로 기존 방법으로 분해하기 어려운 9900만개의 지식으로 이뤄진 텐서인 Freebase와 NELL을 분석한 결과, 흥미로운 개념그룹을 도출하는 데 성공했다.
강유 교수는 “기존 방법으로 처리할 수 없었던 다차원 빅데이터를 효율적으로 분석하는 시스템으로, 소셜 네트워크와 지식 베이스, 네트워크 트래픽 등 다양한 분야의 빅데이터를 분석하는데 활용할 수 있을 것”이라고 말했다.
나운규 기자 sendme@cctoday.co.kr