User Login
Google/Facebook login
This login method has been cancelled. Please contact us in case of problems.
ClueWeb Crawler| Producer | Carnegie Mellon University  | ||||||||||||||||||||||||||||||||||||||||
| Other robots of the same producer | CMU-Cylab, LemurWebCrawler | ||||||||||||||||||||||||||||||||||||||||
| Bot URL | https://boston.lti.cs.cmu.edu/CMU-ClueWeb-Crawler/ | ||||||||||||||||||||||||||||||||||||||||
| Status |  Active | ||||||||||||||||||||||||||||||||||||||||
Known variants ClueWeb-Crawler/1.0 | |||||||||||||||||||||||||||||||||||||||||
| Useragentstring | ClueWeb-Crawler/1.0 ( | ||||||||||||||||||||||||||||||||||||||||
| Category | -- Uncategorised -- | ||||||||||||||||||||||||||||||||||||||||
| First seen | 2026-05-19 12:18:08 | ||||||||||||||||||||||||||||||||||||||||
| Last seen | 2026-06-05 09:03:29 | ||||||||||||||||||||||||||||||||||||||||
| IP addresses | 3 | ||||||||||||||||||||||||||||||||||||||||
| Walk from |
| ||||||||||||||||||||||||||||||||||||||||
ClueWeb-Crawler/1.0 | |||||||||||||||||||||||||||||||||||||||||
| Useragentstring | ClueWeb-Crawler/1.0 (+https://boston.lti.cs.cmu.edu/CMU-ClueWeb-Crawler/; mailto:cmu-clueweb-crawler@andrew.cmu.edu)/Nutch-1.22-SNAPSHOT (CMU ClueWeb Crawler for research; https://boston.lti.cs.cmu.edu/CMU-ClueWeb-Crawler/) | ||||||||||||||||||||||||||||||||||||||||
| Category | -- Uncategorised -- | ||||||||||||||||||||||||||||||||||||||||
| Respects robots.txt | No | ||||||||||||||||||||||||||||||||||||||||
| First seen | 2026-04-15 00:20:28 | ||||||||||||||||||||||||||||||||||||||||
| Last seen | 2026-05-15 19:23:52 | ||||||||||||||||||||||||||||||||||||||||
| IP addresses | 8 | ||||||||||||||||||||||||||||||||||||||||
| Walk from |
| ||||||||||||||||||||||||||||||||||||||||
