Semantic search

جستجوی معنایی

جستجوی معنایی یک فناوری موتور جستجو است که معنای کلمات و عبارات را تفسیر می‌کند. نتایج جستجوی معنایی محتوایی را برمی‌گرداند که با معنای یک جستار مطابقت دارد، برخلاف محتوایی که به معنای واقعی کلمه با کلمات موجود در پرس و جو مطابقت دارد.

جستجوی معنایی مجموعه‌ای از قابلیت‌های موتور جستجو است که شامل درک کلمات از قصد جستجوگر و زمینه جستجوی آنها می‌شود.

هدف از این نوع جستجو، بهبود کیفیت نتایج جستجو با تفسیر دقیق‌تر و در متن زبان طبیعی است. جستجوی معنایی با تطبیق هدف جستجو با معنای معنایی با کمک فناوری‌هایی مانند یادگیری ماشینی و هوش‌مصنوعی به این مهم دست می‌یابد.

 

جستجوی معنایی چگونه کار می‌کند؟

جستجوی معنایی توسط جستجوی برداری[1] ایجاد می‌شود، که جستجوی معنایی را قادر می‌سازد تا محتوا را بر اساس ارتباط زمینه[2] و ارتباط هدف[3] ارائه و رتبه‌بندی کند. جستجوی برداری جزئیات اطلاعات قابل جستجو را در فیلدهای عبارات یا موارد یا بردارهای مرتبط رمزگذاری می‌کند و سپس بردارها را با هم مقایسه می‌کند تا مشخص کند کدامیک بیشتر شبیه هستند.

https://ali-rouhanifar.blogsky.com/1403/10/07/post-105/%D8%AC%D8%B3%D8%AA%D8%AC%D9%88%DB%8C-%D8%A8%D8%B1%D8%AF%D8%A7%D8%B1%DB%8C

جستجوی معنایی فعال شده با جستجوی برداری، نتایجی را با کار همزمان در هر دو انتهای خط پرس و جو ایجاد می‌کند: هنگامی که یک پرس و جو راه‌اندازی می‌شود، موتور جستجو پرس و جو را به تعبیه‌هایی تبدیل می‌کند که نمایش‌های عددی داده‌ها و زمینه‌های مرتبط هستند. آنها در بردارها ذخیره می‌شوند. الگوریتم kNN یا الگوریتم k-نزدیکترین همسایه، سپس بردارهای اسناد موجود (جستجوی معنایی مربوط به متن) را با بردارهای پرس و جو تطبیق می‌دهد. سپس جستجوی معنایی نتایجی را ایجاد می‌کند و آنها را بر اساس ارتباط مفهومی رتبه‌بندی می‌کند.

https://ali-rouhanifar.blogsky.com/1403/10/07/post-104/

۱. هنگامی که یک پرس و جو راه‌اندازی می‌شود، موتور جستجو پرس و جو را به تعبیه‌هایی تبدیل می‌کند که نمایش عددی داده‌ها و زمینه‌های مرتبط هستند. آنها در بردارها ذخیره می‌شوند.

۲. الگوریتم kNN یا الگوریتم k-نزدیکترین همسایه، سپس بردارهای اسناد موجود (جستجوی معنایی مربوط به متن) را با بردارهای پرس و جو تطبیق می‌دهد.

۳. سپس جستجوی معنایی نتایجی را ایجاد می‌کند و آنها را بر اساس ارتباط مفهومی رتبه‌بندی می‌کند.

زمینه

در جستجوی معنایی، زمینه می‌تواند به هر گونه اطلاعات اضافی، مانند موقعیت جغرافیایی جستجوگر، بافت متنی کلمات در پرس و جو، یا زمینه تاریخچه جستجوگر اشاره کند.

جستجوی معنایی از سرنخ‌های زمینه برای تعیین معنای یک کلمه در مجموعه داده‌ای متشکل از میلیون‌ها مثال استفاده می‌کند. جستجوی معنایی همچنین مشخص می‌کند که چه کلمات دیگری را می‌توان در زمینه‌های مشابه استفاده کرد.

به عنوان مثال، جستجو برای "فوتبال" به معنای "فوتبال" در ایالات متحده آمریکا و "فوتبال" در بریتانیا و سایر نقاط جهان است. جستجوی معنایی نتایج را بر اساس موقعیت جغرافیایی کاربر متمایز می‌کند.

هدف جستجوگر

نقش جستجوی معنایی بهبود تجربه کاربر است. برای ارائه مرتبط‌ترین نتایج، قصد کاربر را برای درک نیازهای آنها تفسیر می‌کند. آیا آنها اطلاعات می‌خواهند؟ آیا آنها سعی در خرید دارند؟ بر اساس پرس و جو و زمینه آن، جستجوی معنایی نتایج را به ترتیب ارتباط رتبه‌بندی می‌کند.

جستجوی معنایی را نیز می‌توان با تنظیم دسته‌بندی پرس و جو اصلاح یا بهبود بخشید، مانند تولید محصولات با بالاترین رتبه در ابتدا و محصولات با رتبه پایین‌تر.

جستجوی معنایی در مقابل جستجوی کلمه کلیدی

تفاوت بین جستجوی معنایی و جستجوی کلیدواژه در این است که جستجوی کلیدواژه نتایجی را برمی‌گرداند که کلمات را با کلمات، کلمات را با مترادف‌ها یا کلمات را با کلمات مشابه مطابقت می‌دهند. به نظر می‌رسد که جستجوی معنایی با معنای کلمات در پرس و جو مطابقت دارد. در برخی موارد، جستجوی معنایی ممکن است نتایجی با تطابق مستقیم کلمات ایجاد نکند، اما با هدف کاربر مطابقت دارد.

موتورهای جستجوی کلیدواژه از ابزارهای گسترش پرس و جو یا آرامش مانند مترادف ها یا حذف کلمه استفاده می‌کنند. آنها همچنین از ابزارهای پردازش و درک زبان طبیعی مانند تحمل تایپی، نشانه‌گذاری و نرمال‌سازی استفاده می‌کنند. از سوی دیگر، جستجوی معنایی قادر است نتایج پرس و جو را با استفاده از جستجوی برداری برگرداند که با معنی مطابقت دارد.

"شیر شکلات" را در نظر بگیرید. یک موتور جستجوی معنایی بین "شیر شکلات" و "شکلات شیری" تمایز قائل می‌شود. اگرچه کلمات کلیدی در پرس و جو یکسان هستند، اما ترتیبی که در آن نوشته شده‌اند بر معنی تأثیر می‌گذارد. به عنوان انسان، ما می‌دانیم که شکلات شیری به انواع شکلات اشاره دارد، در حالی که شیر شکلات شیری با طعم شکلات است.

فراتر از تجربیات جستجوی سنتی بروید. وایت پیپر ما را بخوانید و بهترین رویکردها را برای وارد کردن جستجوی معنایی در برنامه‌های خود کشف کنید.

چرا جستجوی معنایی مهم است؟

جستجوی معنایی مهم است زیرا سطح جستجوی وسیع‌تری را تسهیل می‌کند. از آنجایی که جستجوی معنایی از جستجوی برداری پشتیبانی می‌کند، جستجوی معنایی تجربه جستجوی شهودی‌تری را امکان‌پذیر می‌سازد که در آن زمینه و هدف یک پرس و جو نتیجه می‌دهد.

از آنجایی که الگوریتم‌های جستجوی معنایی با انواع شاخص‌های کلیدی عملکرد (KPI) مانند نرخ تبدیل و نرخ پرش به یادگیری ادامه می‌دهند، جستجوی معنایی به افزایش رضایت کاربر کمک می‌کند.

به روندهای جستجوی فنی 2024 نگاه کنید. 

نمونه‌هایی از جستجوی معنایی

جستجوی معنایی نتایجی را بر اساس زمینه جغرافیایی کاربر، سابقه جستجوی قبلی کاربر و قصد کاربر ارائه می‌دهد.

شخصی‌سازی[4] از جستجوها و تعاملات قبلی جستجوگر برای تعیین ارتباط و رتبه پاسخ استفاده می‌کند. جستجوی معنایی همچنین می‌تواند نتایج را بر اساس نحوه تعامل سایر کاربران با پاسخ‌هایی که گرفته است مجدداً رتبه‌بندی کند. به عنوان مثال، هنگامی که "رستوران" را در موتور جستجوی خود تایپ می‌کنید، نتایجی در منطقه شما ایجاد می‌کند.

با درک بهتر مقصود کاربر، جستجوی معنایی می‌تواند به سؤالی مانند Creuset در مقابل اجاق‌های هلندی Staub با محتوایی پاسخ دهد که مقایسه محصول را در اولویت قرار می‌دهد، زیرا این هدف کاربر است. جستجوی معنایی هدف پشت "بهترین معاملات Staub " یا "تخفیفات Creuset " را به عنوان قصد خرید و ارائه پاسخ بر این اساس شناسایی می‌کند.

مثال دیگر متن پیشگویانه است. همانطور که یک پرس و جو را در نوار جستجو تایپ می‌کنید، از جستجوی معنایی برای تکمیل پرس و جو و پیشنهاد عبارات جستجوی مرتبط بر اساس زمینه، جستجوهای رایج و سابقه جستجوی گذشته استفاده می‌کند.

مزایای جستجوی معنایی

جستجوی معنایی با بهبود تجربه جستجو به شرکت‌ها و مشتریان آنها سود می‌رساند.

۱. استفاده آسان‌تر برای مشتریان

مشتریان ممکن است اصطلاحات خاص را به خاطر نداشته باشند، یا نام محصول خاصی را به خاطر بسپارند. جستجوی معنایی مشتریان را قادر می‌سازد تا عبارات جستجوی مبهم را وارد کرده و نتایج خاصی را دریافت کنند. مشتریان همچنین می‌توانند با استفاده از توضیحات برای کشف نام آن جستجو کنند. برای مثال، می‌توانید با جستجوی متنی که می‌شناسید، آهنگی را کشف کنید و عنوان آن را بیابید.

از آنجا که جستجوی معنایی معنا را با در نظر گرفتن هدف و زمینه تفسیر می‌کند، تجربه در سمت مشتری بیشتر شبیه تعامل انسانی است.

۲. مفاهیم قوی‌تر از کلمات کلیدی هستند

با تطبیق مفاهیم به جای کلمات کلیدی، جستجوی معنایی نتایج دقیق‌تری تولید می‌کند. از طریق تعبیه‌های بعدی، وکتور یک کلمه را به عنوان یک مفهوم نشان می‌دهد. «ماشین» دیگر تنها با «ماشین» یا «ماشین‌ها» مطابقت ندارد، بلکه با «راننده»، «بیمه»، «لاستیک»، «الکتریک»، «هیبرید» و غیره نیز تطبیق داده می‌شود، زیرا این کلمات به بردار "ماشین" هم متصل هستند.

بنابراین، جستجوی معنایی که مبتنی بر جستجوی برداری است، مفهوم تطبیق کلمات کلیدی را که توسط نشانه‌ها نشان داده شده‌اند، گسترش می‌دهد.

۳. برای تجارت بهتر است

با درک هدف کاربر، جستجوی معنایی می‌تواند فروش و رضایت مشتری را افزایش دهد. هدف کاربر می‌تواند اطلاعاتی، معاملاتی، ناوبری یا تجاری باشد. درک قصد به موتور جستجو اجازه می‌دهد تا نیازهای مشتری را بهتر برآورده کند. این باعث بهبود رابطه مشتری با برند می‌شود که برای تجارت بهتر است.

جستجوی معنایی با Elasticsearch

پلتفرم Elasticsearch مجهز به راه‌حل‌های یادگیری ماشینی و هوش مصنوعی است، از جمله یک مدل جستجوی معنایی: Elastic Learned Sparse EncodeR یا ELSER. این مدل NLP توسط Elastic آموزش داده شده است تا جستجوی معنایی را در یک ابزار آسان برای استقرار فعال کند.

واژه‌نامه عبارات جستجوی معنایی مرتبط

تعبیه‌ها: تعبیه‌ها بازنمایی برداری از معنای کلمه هستند. آنها شکلی هستند که یک کلمه هنگام پردازش برای جستجو به خود می‌گیرد.

نمایه معکوس: نمایه معکوس پایگاه داده‌ای است که موتورهای جستجو را قادر می‌سازد اطلاعات را بازیابی کنند. کلمات را با اعداد یا اعداد را با اعداد با مکان آنها در پایگاه داده، سند یا مجموعه‌ای از اسناد مطابقت می‌دهد. یک نمایه سطح رکورد کلمات را با یک یا چند سند مطابقت می‌دهد. یک نمایه سطح کلمه کلمات را با جایی که در سند هستند مطابقت می‌دهد.

پردازش زبان طبیعی (NLP): پردازش زبان طبیعی زیرشاخه‌ای از علوم رایانه، زبان‌شناسی و هوش‌مصنوعی است که رایانه‌ها را قادر می‌سازد زبان انسان را درک و پردازش کنند.

https://ali-rouhanifar.blogsky.com/1403/10/07/post-107/Natural-language-processing

نرمال‌سازی: نرمال‌سازی به فرآیند تبدیل مقادیر عددی داده‌ها به یک مقیاس مشترک اشاره دارد.

معناشناسی: معناشناسی شاخه‌ای از زبان‌شناسی و منطق است که با معنا سروکار دارد. همچنین زیر شاخه‌ای از علوم کامپیوتر و فلسفه است.

توکن‌سازی: در NLP، توکن‌سازی به فرآیند تبدیل جملات به نشانه‌ها یا واحدهای کوچکتر اطلاعات اشاره دارد. این فرآیندی است که پردازش رایانه را سریعتر ممکن می‌کند.

---

[1] Vector Search

[2] Context Relevance

[3] Intent Relevance

[4] Personalization