요약 bot

 나는 다독에 대한 욕심이 있다. 정말 많은 책을 읽고 싶지만, 시간적, 공간적 제약으로 그렇게 하질 못한다. 그래서 퀀텀독서에 대해 잠깐 관심을 가졌는데... 불가능한 일이다. 배경지식이 엄청나게 많으면 다독이 가능할지도 모르지만, 적어도 나를 비롯한 보통 사람들에게는 퀀텀독서가 불가능하다.

문학적 감성을 위한 독서가 아닌 지식을 얻기 위한 독서는 가끔 읽기가 지루할 때가 있다. 종이 위에 펼쳐진 단순 지식을 전하는 텍스트를 보면 정말 읽기 싫을 때가 있다. 독서 컨디션이 안좋을 때는 이러한 텍스트가 잘 안읽히고 이해도 안되는 경우가 많다. 이럴 때는 누가 핵심 문장, 핵심 내용만 요약해서 나에게 알려줬으면 좋다는 생각도 해본다.

법조인이 재판에 앞서, 관련 사건의 사실 관계를 파악하기 위해 수많은 문서들을 읽어야 한다. 기술 세미나에 참석하려면 관련 기술 동향을 파악하기 위해서도 많은 문서들을 읽어야 한다. 어디 그 뿐이랴. 축구 선수, 야구 선수 들도 경기에 앞서 감독의 전술 이해를 위해 문서를 읽어야 한다. 

바쁜 인간을 대신해, Robot이 인간 대신 긴 글을 읽고 인간에게 핵심 내용만 추려서 알려준다면... 세상은 정말 많이 변할 것이다. 그래서 구글에 "문서 요약 알고리즘"이라는 검색어로 검색을 해봤는데, 자료가 꽤 많다. 구글의 Page-Rank 검색 알고리즘도 있고, TF-IDF(Term Frequency-Inverse Document Frequency) 도 있고, Text Rank라는 것도 있다.

문서 요약 구글 서칭

TF-IDF는 단어의 빈출도(Term Frequency)를 이용하여 해당 단어가 문서 내에 얼마나 자주 등장하는지를 추출한다. 이 값이 높을 수록 문서 내에서 중요도가 높다고 판단할 수 있다. DF(Document Frequency)는 문서의 빈도를 이야기한다. IDF란 이 문서 빈도의 역수라고 한다. TF-IDF는 TF와 IDF를 곱한 값으로 점수가 높은 단어일수록 다른 문서에는 많지 않고 해당 문세어서 자주 등장하는 단어를 의미한다.

TF-IDF의 간단한 예제는 아래 주소를 참조하면 되겠다.

https://gomguard.tistory.com/250

[Python] TF-IDF 유사도 측정을 통한 문서 요약 프로그램

 

TextRank는 Mihalcea이 제안한 알고리즘으로, Google의 PageRank를 활용한 알고리즘이다. PageRank는 하이퍼링크를 가지는 웹 문서에 상대적 중요도에 따라 가중치를 부여하는 방법이다. PageRank는 그래프 기반 랭킹 모델이다. 즉, 그래프를 대상으로 하는 알고리즘이다. TextRank는 그래프 대신에 텍스트를 적용한 랭킹 모델이라고 할 수 있다.

TextRank는 아래의 주소를 참조하자.

https://lovit.github.io/nlp/2019/04/30/textrank/

TextRank 를 이용한 키워드 추출과 핵심 문장 추출 (구현과 실험)