하고 싶어서 하는 공부
-
[NLP] Semantic Search - 1하고 싶어서 하는 공부/NLP 공부 2023. 10. 17. 01:19
Intro 시멘틱 검색은 어휘 일치 만으로 문서를 찾는 기존 검색 엔진과 달리, 동의어까지 찾을 수 있다. 기본 개념은 문장, 단락, 문서 등 corpus에 있는 모든 항목을 벡터 공간에 포함시키는 것이다. 검색할 때 쿼리가 동일한 벡터 공간에 임베드 되고, corpus에서 가장 가까운 임베딩이 발견된다. 이 항목은 쿼리와 의미론적 중첩이 높아야 한다. Symmetric vs. Asymmetric Semantic Search! Symmetric semantic search(대칭 시멘틱 검색)의 경우 쿼리와 corpus의 항목의 길이가 거의 같고 콘텐츠의 양이 동일하다. -> 비슷한 질문을 검색하는데 활용할 수 있다. 예를 들어 “ML을 인터넷으로 배우는 방법”이라는 쿼리를 “웹에서 ML을 배우는 방법”과..