User Login
Google/Facebook login
This login method has been cancelled. Please contact us in case of problems.
ClueWeb Crawler| Producer | Carnegie Mellon University  | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Other robots of the same producer | CMU-Cylab, LemurWebCrawler | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Bot URL | https://boston.lti.cs.cmu.edu/CMU-ClueWeb-Crawler/ | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Status |  Active | |||||||||||||||||||||||||||||||||||||||||||||||||||||
Known variants ClueWeb-Crawler/1.0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Useragentstring | ClueWeb-Crawler/1.0 (+https://boston.lti.cs.cmu.edu/CMU-ClueWeb-Crawler/; mailto:cmu-clueweb-crawler@andrew.cmu.edu) | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Category | -- Uncategorised -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| First seen | 2026-06-09 20:51:15 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Last seen | 2026-07-17 00:15:19 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| IP addresses | 14 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Walk from |
| |||||||||||||||||||||||||||||||||||||||||||||||||||||
ClueWeb-Crawler/1.0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Useragentstring | ClueWeb-Crawler/1.0 ( | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Category | -- Uncategorised -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| First seen | 2026-05-19 12:18:08 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Last seen | 2026-06-08 14:30:14 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| IP addresses | 6 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Walk from |
| |||||||||||||||||||||||||||||||||||||||||||||||||||||
ClueWeb-Crawler/1.0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Useragentstring | ClueWeb-Crawler/1.0 (+https://boston.lti.cs.cmu.edu/CMU-ClueWeb-Crawler/; mailto:cmu-clueweb-crawler@andrew.cmu.edu)/Nutch-1.22-SNAPSHOT (CMU ClueWeb Crawler for research; https://boston.lti.cs.cmu.edu/CMU-ClueWeb-Crawler/) | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Category | -- Uncategorised -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Respects robots.txt | No | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| First seen | 2026-04-15 00:20:28 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Last seen | 2026-05-15 19:23:52 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| IP addresses | 8 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
| Walk from |
| |||||||||||||||||||||||||||||||||||||||||||||||||||||
