この Web サイトには、Microsoft MSNBot を禁止するルールがあります。
https://blogs.bing.com/webmaster/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot
ロボット.txt
データにアクセスする 1,537,329 ウェブサイト それは Microsoft MSNBot Disallow 顧客. 私たちは知っている 428,704 ライブウェブサイト 使用して Microsoft MSNBot Disallow そして追加の 1,108,625 使用したサイト Microsoft MSNBot Disallow 歴史的に そして 224,095 ウェブサイト アメリカ合衆国.
リストを取得する 1,537,329 使用中のウェブサイト Microsoft MSNBot Disallow 位置情報、ホスティングデータ、連絡先の詳細などが含まれます。 428,704 現在公開中のウェブサイト そして追加の 426,020 このリスト内のサイトにリダイレクトするドメイン。 1,108,625 以前この技術を使用していたサイトそして 224,095 ウェブサイト アメリカ合衆国 現在使用中 Microsoft MSNBot Disallow.
国
Financial
Group
Region