# Robots.txt para Eningles.info
# Este archivo indica a los motores de búsqueda qué páginas pueden o no indexar

User-agent: *
Allow: /$
Allow: /index\.html$
Allow: /courses/
Allow: /assets/
Allow: /docs/

# Archivos y directorios que los motores de búsqueda NO deben rastrear
Disallow: /backups/
Disallow: /node_modules/
Disallow: /__pycache__/
Disallow: /.git/
Disallow: /deploy/
Disallow: /public/
Disallow: /logs/
Disallow: /tmp/
Disallow: /temp/

# Evitar contenido duplicado con parámetros de URL
Disallow: /*?*
Disallow: /*&*
Disallow: /*?$
Disallow: /*&$

# Archivos específicos que no deben indexarse
Disallow: /config\.json$
Disallow: /deploy\.py$
Disallow: /manage\.py$
Disallow: /index\.py$
Disallow: /README\.md$
Disallow: /\.htaccess$
Disallow: /\.htpasswd$
Disallow: /composer\.json$
Disallow: /package\.json$
Disallow: /webpack\.config\.js$
Disallow: /gulpfile\.js$

# Evitar rastreo de archivos de logs o temporales
Disallow: /*\.log$
Disallow: /*\.tmp$
Disallow: /*\.swp$
Disallow: /*\.bak$
Disallow: /*\.backup$

# Evitar rastreo de archivos de configuración
Disallow: /*\.json$
Disallow: /*\.py$
Disallow: /*\.md$
Disallow: /*\.env$
Disallow: /*\.config$

# Evitar rastreo de archivos de sistema
Disallow: /*\.gitignore$
Disallow: /*\.gitmodules$
Disallow: /*\.svn/
Disallow: /*\.DS_Store$

# Evitar rastreo de archivos de administración
Disallow: /admin/
Disallow: /admin\.html$
Disallow: /phpmyadmin/
Disallow: /wp-admin/
Disallow: /cpanel/
Disallow: /webmail/

# Evitar rastreo de archivos de descarga
Disallow: /*\.zip$
Disallow: /*\.rar$
Disallow: /*\.tar\.gz$
Disallow: /*\.exe$
Disallow: /*\.dmg$

# Sitemap
Sitemap: https://eningles.info/sitemap.xml

# Configuración específica para Google
User-agent: Googlebot
Allow: /$
Allow: /index\.html$
Allow: /courses/
Allow: /assets/
Crawl-delay: 1

# Configuración específica para Bing
User-agent: Bingbot
Allow: /$
Allow: /index\.html$
Allow: /courses/
Allow: /assets/
Crawl-delay: 1

# Configuración específica para Yahoo
User-agent: Slurp
Allow: /$
Allow: /index\.html$
Allow: /courses/
Allow: /assets/
Crawl-delay: 1

# Configuración para bots de redes sociales
User-agent: Twitterbot
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterestbot
Allow: /

User-agent: Google-InspectionTool
Allow: /

# Configuración para bots de scraping (más restrictiva)
User-agent: *
Crawl-delay: 5

# Permite el rastreo de contenido educativo
Allow: /courses/*.html$
Allow: /assets/*.css$
Allow: /assets/*.js$
Allow: /assets/*.png$
Allow: /assets/*.jpg$
Allow: /assets/*.jpeg$
Allow: /assets/*.gif$
Allow: /assets/*.svg$
Allow: /assets/*.webp$
Allow: /assets/*.ico$
Allow: /assets/*.woff$
Allow: /assets/*.woff2$
Allow: /assets/*.ttf$
Allow: /assets/*.eot$

# Permite el rastreo de páginas principales
Allow: /index\.html$
Allow: /courses\.html$
Allow: /beginner\.html$
Allow: /intermediate\.html$
Allow: /advanced\.html$
Allow: /a1\.html$
Allow: /a2\.html$
Allow: /a2-plus\.html$
Allow: /contact\.html$
Allow: /booking\.html$
Allow: /enhanced-booking\.html$
Allow: /auth\.html$
Allow: /profile\.html$
Allow: /dashboard\.html$
Allow: /analytics-dashboard\.html$
Allow: /terms\.html$
Allow: /privacy-policy\.html$
Allow: /donate\.html$
Allow: /calendly-payment-integration\.html$
Allow: /module-template\.html$

# Permite el rastreo de archivos estáticos
Allow: /style\.css$
Allow: /script\.js$
Allow: /exercise-engine\.js$
Allow: /seo-optimization\.js$
Allow: /progress-tracker\.js$
Allow: /sendmail\.php$

# Permite el rastreo de archivos de configuración importantes para SEO
Allow: /robots\.txt$
Allow: /ads\.txt$
Allow: /sitemap\.xml$
Allow: /humans\.txt$
Allow: /security\.txt$

# Host (para búsquedas duplicadas - obsoleto pero incluido para compatibilidad)
Host: eningles.info