Google의 성공비결은?

 포털 사이트 Yahoo!(야후)는 최근 검색 서비스를 Inktomi(잉크토미)에서 Google(구글)로 바꾸었다. Inktomi는 1998년 Altavista(알타비스타)와 격한 경쟁을 벌이고 Yahoo!의 검색엔진으로 채용된 경력이 있다. 그로부터 채 2년도 지나지 않아서 Inktomi는 신흥검색 엔진인 Google에게 그 자리를 내놓게 되었다. 미국에서는 지금도 격렬한 검색 엔진 전쟁이 벌어지고 있는 것이다.

원래 Inktomi는 1996년 2월에 캘리포니아 버클리 대학의 연구자 Eric Brewer와 Paul Gauthier가 설립했다. 최초로 Inktomi를 채용했던 곳은 HOT WIRED였다. 공동으로 개발한 검색 사이트인 HotBot은 Lycos나 Infoseek 등 기존의 검색 엔진을 훨씬 능가하는 좋은 성적을 거두었고 당연히 그 기술을 제공한 Inktomi는 주목을 받게 되었다.

당시는 검색 사이트의 한계에 관심이 모이고 있던 때였다. 노장인 Lycos는 메인 프레임을 중심으로 한 대형 시스템을 사용하며 효율을 위해 검색 로봇은 최초의 수백자만 읽고 인덱스를 만든다. 그렇게 해도 계속해서 증가하는 홈페이지에 Lycos는 대응할 수 없게 되어 갔다. 같은 현상은 다른 검색 사이트에도 나타났고 슈퍼컴퓨터를 구사한 Altavista만이 거대화하는 홈페이지들에 겨우 대응하고 있었다.

그런 상황에 등장한 것이 병렬 컴퓨터 기술을 핵으로 한 Inktomi였다. Inktomi는 Altavista의 고객을 침식해가면서 MSN, NBC의 Snap. @Home 네트웍, NTT의 goo 등의 저명한 검색 사이트들을 고객으로 만들어 갔다.

Inktomi의 서치 엔진은 NOWs(Networks of Workstations)를 사용한 병렬 컴퓨팅 기술이 핵심이었다. 일반적으로 서치 엔진은 검색 로봇이 모아오는 홈페이지 정보를 거대한 데이터베이스에 저장하게 된다.

대량의 정보를 인덱스화 하기 위해서는 강력한 컴퓨터 파워가 필요하기 때문에 메인 프레임 등 대형시스템을 기본으로 하게 된다. Inktomi의 경쟁 상대인 Altavista는 각 웹페이지를 전부 읽고 인덱스화하는 Full Text Index가 장점이었지만 당시의 홈페이지 전체의 약 60%(추정) 정도 밖에는 커버하지 못했다.

Inktomi는 몇 대의 고성능 웍스테이션을 병렬로 연결하여 처리하는 NOWs로 이 문제를 해결했다. 대량의 정보는 각각의 웍스테이션에서 분산되어 처리되기 때문에 웍스테이션을 늘리면 처리능력은 점점 확장되기 때문이다. 이렇게 해서 Inktomi는 Altavista를 제치고 Yahoo!의 검색 엔진이라고 하는 최고의 자리를 빼앗게 된 것이다.

Altavista나 Inktomi 모두 각 홈페이지를 돌아다니며 나타나는 빈도가 높은 단어를 표적으로 페이지의 성격을 결정한다는 점에서 접근하는 방법은 비슷한 성격을 띄고 있다.

그런데 Google은 각 페이지를 연결시켜주는 링크에 주목하는 새로운 접근 방식인 “Page Rank"를 채용하고 있다. 예를 들어 어떤 논문의 페이지를 생각해 보자. 그 논문은 같은 테마의 다른 논문과 비교해 볼 때 더 많은 링크가 모여 있다고 하자. 이 이야기는 즉 많은 사람들이 인용하고 있다는 것이며 따라서 그 논문의 가치는 다른 논문보다 높다고 할 수 있을 것이다.

이런 식으로 어떤 페이지가 어디로 얼마만큼 링크가 되어 있는지를 추적하면 각 페이지가 어느 정도의 중요도를 갖고 있는지 알 수 있다는 것이다. 이것이 바로 이 Page Rank 기술의 핵심이고 이 기술로 Google은 더욱 정확도가 높은 검색 결과를 낼 수 있게 되는 것이다.

이렇게 홈페이지 전체를 상대로 하는 검색 엔진과는 달리 한정된 부분을 대상으로 정확도를 높인 검색 서비스를 시도하는 움직임도 있다. Microsoft가 매수한 Firefly나 Macromedia가 매수한 Likeminds 등으로 대표되는 “Collaborative filtering" 기술은 이런 시도 중에서도 유명한 편이다. 특정한 상품을 사는 사람의 취향을 모으고 분석해서 그 일반적인 취향에 맞는 다른 상품을 추천하는 이 기술은 Amazon등의 서점추천 서비스 등에서는 빼놓을 수 없는 기술이다.

또 다른 움직임도 있다. XML Index Engine이라 불리우는 기술이 있는데 XML로 제작된 홈페이지는 데이터의 속성이 명확하게 되어 있기 때문에 더 정확한 검색결과를 얻을 수가 있다. 이 기술은 현재 콜롬비아 대학 등에서 연구가 진행되고 있다.

또 하나 주목받는 기술은 Matching Engine으로 불리우는 기술인데 Burning Glass Technologies나 iXmatch.com이 개발을 진행하고 있다. Matching Engine은 대상이용영역을 축소하여 그 분야에 맞는 복잡한 규칙표를 구축해서 이용한다는 방식이다. 예를 들어 자동차 수리에 대해 검색한 경우 관련 부품이나 툴, 부대 서비스 등을 함께 표시할 정도의 정확도 높은 검색을 추구하고 있다. 이런 특정 분야에 대한 검색 엔진은 B2B 사이트 등에서 각광 받을 것으로 기대된다.

전 세계의 홈페이지의 70%는 영어로 제작되어 있지만 매년 그 비중은 줄어들고 있어서 검색 엔진의 다국어화는 중요시되어 가고 있다. 또 음악이나 영상 등 문서 이외의 미디어에 대한 검색기능도 이제부터 본격화해 가는 것이라고 할 수 있겠다. 검색 엔진은 아직 많은 과제를 안고 있고 개발경쟁도 더욱 격렬해져 가게 될 것이다.