Xuziyu: Baiduの単語分割技術に関する研究と推測

厳密に言えば、Baidu の検索エンジンは、非常に優れた単語分割技術を備えているため、中国語分野で最大の市場シェアを誇っています。もちろん、高度な単語分割技術を探求することはできません。しかし、表面のいくつかの「チューブ」を通して、内部の「ヒョウ」を垣間見ることができます。今日、杭州 SEO は、Baidu の単語分割に関するいくつかの基本的な推測についてお話します。

まず、Baidu の単語分割の条件を理解する必要があります。すべての単語が分割されるわけではありません。たとえば、「大学生」を検索すると、返される結果に完全一致が表示されます。次の図に示すように、Baidu はこの単語に対して単語分割を実行しませんでした。

「映画 ダウンロード」を検索すると、Baidu はこれらの単語を以下のように「映画」、「ダウンロード」、「映画 ダウンロード」に分割します。

そこで、一部の友人は、Baidu が 3 つの漢字制限で単語分割を実装し始めるのではないかと推測しました。何度もテストできます。この発言は非常に人気があります。しかし、後でキーワードを再度検索したときに、問題が見つかりました。単語が Baidu の語彙に個別の単語として含まれている場合、その単語の長さに関係なく、Baidu は最初に完全一致の Web ページを推奨し、次に単語分割一致の Web ページを推奨します。

例えば、「信じるかどうか」と検索する場合、一般的にはこのような文章は単語分割で処理する必要があります。しかし、昨年の高速鉄道事故により、この文章はよく使われる用語になりました。Baiduもこの用語を認識して語彙に含めたため、正確なマッチングを実現できます。下の図に示すように、Web ページのタイトルはすべて完全に一致しており、単語の分割の一致は見られません。

結論と推測：ユーザーがキーワードを検索すると、Baiduはまず独自の語彙に基づいて正確なマッチングを行います。その単語が非常に一般的な単語であり、独自の語彙にエントリが設定されている場合、Baiduは関連するWebページの結果を呼び出します。その単語が語彙に存在しない場合は、セグメント化され、検索結果にもいくつかの単語のセグメント化が生成されます。結果のランキングに関しては、それに影響を与える要因がたくさんあります。たとえば、Webサイトの重みは検索結果のランキングに影響します。詳細については詳細な分析が必要なので、ここでは説明しません。

この記事は杭州SEO（http://www.soxunseo.com）によって公開されています。転載を歓迎します。転載の際はこのリンクを残してください。ご協力ありがとうございます！

原題：Xuziyu：百度の単語分割技術に関する研究と推測

キーワード: Baidu、ワードテクノロジー、技術研究、推測、検索、エンジン、中国語、フィールド市場、市場シェア、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化