この Web サイトには、Microsoft MSNBot を禁止するルールがあります。
https://blogs.bing.com/webmaster/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot
ロボット.txt
データにアクセスする 1,443,998 ウェブサイト それは Microsoft MSNBot Disallow 顧客. 私たちは知っている 437,139 ライブウェブサイト 使用して Microsoft MSNBot Disallow そして追加の 1,006,859 使用したサイト Microsoft MSNBot Disallow 歴史的に そして 237,377 ウェブサイト アメリカ合衆国.
リストを取得する 1,443,998 使用中のウェブサイト Microsoft MSNBot Disallow 位置情報、ホスティングデータ、連絡先の詳細などが含まれます。 437,139 現在公開中のウェブサイト そして追加の 444,019 このリスト内のサイトにリダイレクトするドメイン。 1,006,859 以前この技術を使用していたサイトそして 237,377 ウェブサイト アメリカ合衆国 現在使用中 Microsoft MSNBot Disallow.
国
Financial
Group
Region