ウェブサイトには、Alexa の ia_archiver ボットに対する禁止ルールがあります。
https://support.alexa.com/hc/en-us/articles/200450194-Alexa-s-Web-and-Site-Audit-Crawlers
ロボット.txt · AIボット
データにアクセスする 10,736,553 ウェブサイト それは Alexa Bot Disallow 顧客. 私たちは知っている 5,463,520 ライブウェブサイト 使用して Alexa Bot Disallow そして追加の 5,273,033 使用したサイト Alexa Bot Disallow 歴史的に そして 2,290,566 ウェブサイト アメリカ合衆国.
リストを取得する 10,736,553 使用中のウェブサイト Alexa Bot Disallow 位置情報、ホスティングデータ、連絡先の詳細などが含まれます。 5,463,520 現在公開中のウェブサイト そして追加の 599,924 このリスト内のサイトにリダイレクトするドメイン。 5,273,033 以前この技術を使用していたサイトそして 2,290,566 ウェブサイト アメリカ合衆国 現在使用中 Alexa Bot Disallow.
国
Financial
Group
Region