この Web サイトには、Microsoft MSNBot を禁止するルールがあります。
https://blogs.bing.com/webmaster/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot
ロボット.txt
データにアクセスする 1,548,763 ウェブサイト それは Microsoft MSNBot Disallow 顧客. 私たちは知っている 411,879 ライブウェブサイト 使用して Microsoft MSNBot Disallow そして追加の 1,136,884 使用したサイト Microsoft MSNBot Disallow 歴史的に そして 207,985 ウェブサイト アメリカ合衆国.
リストを取得する 1,548,763 使用中のウェブサイト Microsoft MSNBot Disallow 位置情報、ホスティングデータ、連絡先の詳細などが含まれます。 411,879 現在公開中のウェブサイト そして追加の 468,035 このリスト内のサイトにリダイレクトするドメイン。 1,136,884 以前この技術を使用していたサイトそして 207,985 ウェブサイト アメリカ合衆国 現在使用中 Microsoft MSNBot Disallow.
国
Financial
Group
Region