# robots.txt for http://www.cesifo-group.de/ # Bei Aussperrung bitte in Datei robots.log fortlaufend mit Datum kommentieren! # 2014-04-03 # 008: reject added as 80legs ruthlessly spams site. User-agent: 008 User-agent: 008/0.85 Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /shop/ Disallow: /portal/ Disallow: /portal/page/portal/Shop_Magnolia/ Disallow: /portal/page/portal/lang-en/Shop_Magnolia/ Disallow: /portal/page/portal/lang-de/Shop_Magnolia/ #Disallow: /portal/page/portal/mgnl/ #Disallow: /portal/page/portal/ifoHome/ #Disallow: /portal/page/portal/ifoContent/