この Web サイトには、Microsoft MSNBot を禁止するルールがあります。
https://blogs.bing.com/webmaster/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot
ロボット.txt
データにアクセスする 1,552,659 ウェブサイト それは Microsoft MSNBot Disallow 顧客. 私たちは知っている 446,491 ライブウェブサイト 使用して Microsoft MSNBot Disallow そして追加の 1,106,168 使用したサイト Microsoft MSNBot Disallow 歴史的に そして 232,801 ウェブサイト アメリカ合衆国.
リストを取得する 1,552,659 使用中のウェブサイト Microsoft MSNBot Disallow 位置情報、ホスティングデータ、連絡先の詳細などが含まれます。 446,491 現在公開中のウェブサイト そして追加の 454,545 このリスト内のサイトにリダイレクトするドメイン。 1,106,168 以前この技術を使用していたサイトそして 232,801 ウェブサイト アメリカ合衆国 現在使用中 Microsoft MSNBot Disallow.
国
Financial
Group
Region