Ở tài liệu về file robots.txt, TIEN ZIVEN đã giới thiệu đến bạn cách kiểm soát tốt quá trình thu thập dữ liệu ở quy mô toàn website. Trong bài viết này, chúng tôi sẽ giới thiệu một cách khác để kiểm soát và tiết kiệm ngân sách cào trong SEO. Cùng TIEN ZIVEN tìm hiểu thẻ meta robots là gì? Vài trò và cách tối ưu quá trình crawling với robots meta tag nhé!
Mục lục nội dung
1. Thẻ meta robots là gì?
Robots meta tag (thẻ meta robots) là dòng lệnh kiểm soát cách công cụ tìm kiếm thu thập, lập chỉ mục và phân phát kết quả tìm kiếm cho từng trang web. Vị trí của thẻ meta robots là phần
của trang. Cú pháp mẫu:
Trong khi : File robots.txt đưa ra những tiêu chuẩn loại trừ robot cho toàn website. Thẻ meta robots và x-robots-tag ( gọi chung là thông tư meta robots ) khai báo những chính sách setup cấp trang để trấn áp cách Google trình diễn nội dung trong SERPs .
2. Vai trò của meta robots trong SEO?
Vai trò của thẻ meta robots trong yếu tố Technical SEO khá giống với file robots.txt. Tuy nhiên, có thêm một vài đặc điểm khác để bạn sử dụng phối hợp cả 2 phương pháp. Xem cách triển khai file robots chi tiết tại robots.txt là gì?
2.1. Tối ưu crawl budget
Robots meta tag kiểm soát cả 3 quá trình crawling, indexing và ranking. Do đó, khi sử dụng hợp lý, bạn có thể phân phát lượt thu thập dữ liệu trong website hiệu quả. Điều này giúp tối ưu crawl budget và những trang quan trọng có nội dung cập nhật sẽ được thu thập tốt hơn.
> Đọc thêm bài viết chi tiết Tất tần tật về SEO!
2.2. Tối ưu chất lượng và thẩm quyền website
Thẻ meta robots giúp nâng cao chất lượng nội dung website kịp thời một cách hiệu quả. Đi cùng với chất lượng thì thẩm quyền website trong mắt Google cũng tăng lên.
Đó là vì robots meta tag giúp bạn chặn thu thập dữ liệu và lập chỉ mục những trang :
- Thin content (nội dung mỏng), hay trang không cung cấp giá trị cho người dùng.
- Trang bảo mật, không công khai
- Tìm kiếm nội bộ
- Trang không nằm trong mục đích SEO như quảng cáo – paid search, trang tin tức, sự kiện
- Nội dung trùng lặp – Duplicate content
Do đó, thẻ meta robots được sử dụng phối hợp với x-robots-tag, robots.txt và sitemap để triển khai content audit hiệu quả. Đọc thêm Sitemap là gì?
2.3. Kiểm soát dòng chảy sức mạnh (link juice)
Nếu bạn đã tìm hiểu đến các yếu tố SEO nâng cao sẽ biết đến khái niệm dòng chảy sức mạnh (link juice). Hiểu đơn giản thì mỗi trang sẽ có một mức độ thẩm quyền khác nhau đối với công cụ tìm kiếm. Khi vận dụng kỹ thuật internal link và backlink thì thẩm quyền sẽ chia sẻ giữa nhiều trang.
Do đó, công dụng kiểm soát phương thức thu thập dữ liệu giúp thẻ meta robots góp phần quản lý dòng chảy sức mạnh.
> Tham khảo cách để google index nhanh
3. Những tham số của thẻ meta robots
Vị trí của những tham số là nội dung của thuộc tính content của thẻ meta robots. Những lệnh thường dùng để lập chỉ mục và phân phát trang hiệu suất cao gồm có :
- index: khai báo công cụ tìm kiếm có thể lập chỉ mục trang web này. Tuy nhiên, trang có nội dung tốt Google mặc định dòng lệnh index. Do đó, bạn không cần thiết nhập nó.
- noindex: thông báo không lập chỉ mục trang.
- follow: Cho phép crawler truy cập vào trang đích các liên kết trong trang để thu thập dữ liệu. Tương tự index, follow cũng là lệnh mặc định.
- nofollow: Không cho phép trình thu thập web truy cập theo liên kết
- all: câu lệnh gộp có giá trị tương đương cả 2 lệnh index và follow
- none: tương đương noindex cùng với nofollow
- noimageindex: không lập chỉ mục các hình ảnh trong trang
- noarchive: thông báo không hiển thị liên kết lưu trong bộ nhớ đệm
- nosnippet: thông báo không hiển thị đoạn mô tả trên kết quả tìm kiếm
- notranslate: khai báo rằng công cụ tìm kiếm không hiển thị bản dịch
- unavailable_after: Chỉ định thời gian chính xác để công cụ tìm kiếm dừng thu thập và lập chỉ mục trang.
Những tham số này có thể sử dụng phối hợp với nhau, khai báo bằng dấu phẩy (,). Ví dụ:
Và tất yếu, những tham số này sử dụng được cho cả x-robots-tag .
> Hướng dẫn tối ưu Meta Description
4. Cách kiểm tra trạng thái thẻ meta robots
Thật sự lúc bấy giờ có rất nhiều extension hiển thị câu lệnh robots meta tag một cách trực quan. Tuy nhiên để kiểm tra trạng thái thẻ meta robots không cần phải rườm rà đến vậy. Bạn hoàn toàn có thể xem bằng cách :
- Mở mã nguồn HTML của trang: Bấm chuột phải > View Source code. Hoặc Ctrl + U (đối với window) hay Command + Option + U (đối với OS)
- Sử dụng công cụ search nội dung: Ctrl + F
- Nhập name=”robots” và xem nội dung trong thuộc tính content
> Đọc ngay bài viết hướng dẫn tối ưu chi tiết Thẻ tiêu đề
5. Cách thiết lập thẻ meta robots
Khi muốn thiết lập lệnh với thẻ meta robots, bạn chỉ cần lưu ý vị trí là ở vùng
. Đối với Website code tay bạn sẽ cần kỹ thuật viên thiết lập vùng chỉnh sửa nội dung robots meta tag. Còn đối với website WordPress có 2 trường hợp:Website sử dụng Yoast SEO
Yoast SEO là pluggin hỗ trợ triển khai SEO hiệu quả mà TIEN ZIVEN hay dùng. Bạn có thể thiết lập câu lệnh cho thẻ meta robot ở cuối mỗi trang, bài viết trong phần YoastSEO nâng cao.
- Cho phép công cụ tìm kiếm hiển thị trong kết quả tìm kiếm (index/ noindex)
- Cho phép công cụ tìm kiếm theo các liên kết (follow/ nofollow)
- Robots meta nâng cao giúp bạn đặt các câu lệnh khác
Website sử dụng Rank Math
Đối với Rank Math, bạn hãy triển khai lần lượt :
Bước 1: Truy cập trang chỉnh sửa nội dung
Bước 2: Chọn Advance
Bước 3: Chọn những lệnh phù hợp
Kết luận
Tất cả những lưu ý về robots meta tag TIEN ZIVEN đã cung cấp cho bạn. Mong rằng chúng tôi đã giải đáp được câu hỏi thẻ meta robots là gì? Vài trò và cách thiết lập các câu lệnh chính xác. Tiếp tục theo dõi các tài liệu SEO và ủng hộ TIEN ZIVEN nhiều hơn bạn nhé! Cảm ơn bạn!
Nguồn tìm hiểu thêm :
Xem ngay khoá học SEO nâng cao được cung cấp bởi TIEN ZIVEN!
Source: https://mindovermetal.org
Category: Wiki công nghệ
