# Chặn các bot không mong muốn
User-agent: Yandex
User-agent: YandexCalendar
User-agent: YandexMobileBot
Disallow: /

# Giới hạn bot audit và social crawlers
User-agent: AhrefsSiteAudit
User-agent: facebookexternalhit
User-agent: meta-externalagent
Disallow: /*?
Disallow: /*filter_*

# Quy tắc cho tất cả các bot search engine
User-agent: *
Allow: /

# WordPress core - cho phép admin-ajax
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Disallow: /wp-includes/
Allow: /wp-content/uploads/

# WooCommerce - chặn các trang chức năng
Disallow: /gio-hang/
Disallow: /cart/
Disallow: /thanh-toan/
Disallow: /checkout/
Disallow: /tai-khoan/
Disallow: /my-account/
Disallow: /wc-api/
Disallow: /tra-gop-alepay/

# Chặn URL có tham số filter và attribute
Disallow: /*?filter_*
Disallow: /*&filter_*
# Disallow: /*?pa_*
# Disallow: /*&pa_*
Disallow: /*?filtera_*

# Chặn các URL động và tham số không cần thiết
Disallow: /*?s=*
Disallow: /*?replytocom*
Disallow: /*?orderby=*
Disallow: /*?add-to-cart=*
Disallow: /*&add-to-cart=*
Disallow: /*?min_price=*
Disallow: /*&min_price=*
Disallow: /*?max_price=*
Disallow: /*&max_price=*

# Chặn các trang không cần index
Disallow: /attachment/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /comments/feed/

# Giới hạn tốc độ crawl (tùy chọn - bỏ comment nếu cần)
# Crawl-delay: 10

# Sitemap
Sitemap: https://hvshop.vn/sitemap_index.xml