[ASK] Remove URL error from google index

Sesuai judul gan.... ane adabanyak blog yg klo ditotal ada RIBUAN URL error yg ke index ama google error 404 .... ane mo delete semua dan MENCEGAH google spider biar ga crawling itu URL lagi caranya gimana gan?? pake robot txt ada yg bisa ajarin ga??? ane ga ngerti robot txt gan :cd:

 

Pattern robots.txt
User-agent: *
Disallow:

Penjelasan robots.txt
User-agent- > user agent yang mau di block , tanda wild-card ( * ) berguna untuk memilih semua robot.
Dissalow -> di isi URL yang ingin di blok tapa menggunakan URL root domain
misal yang mau di block : hxyp://domain.com/block/robot
-- > Disallow: /block/robot


Nota tambahan robots.txt
Perlu di ingat tanda slash ( / ) dan wild-card ( * ) ini sangat poweful.

1. wild-card ( * ) -> universal selector
kalau mau block
hxyp://domain.com/block/robot
hxyp://domain.com/block/robot/12
hxyp://domain.com/block/robot/12/12221223
hxyp://domain.com/block/robot/12/12221223/dawdwadwa

cukup dengan kode di bawah maka semua konten dalam "/block/robot/xxx/xxx/xxx" akan di blok
-- > Disallow: /block/robot/*

2. tanda slash ( / )
kalau tidak salah ini sama dengan wild-card, tetapi tidak deep block, misal :
-- > Disallow: /block/robot/

Hanya akan block URL dengan alamat :
/block/robot/1
/block/robot/abcdeh
/block/robot/wett
/block/robot/avaw

Tidak akan sampai block "/block/robot/1/1234"

kalo tidak salah ada validator untuk robots.txt, dan untuk menghapus link error di search result sepertinya melalui google webmasters

 

thx gan, cendol menyusul