Karena alasan tertentu, Bot Juga bisa dicegah untuk memasuki area tertentu. Seorang Webmaster bisa membuat program yang memungkinkan bot crawler tidak memasuki area tertentu di website, baik area tersebut berupa file ataupun direktori.
Sebuah halaman juga bisa tdiak diikutkan dalam database search engine dengan cara menggunakan tag meta yang spesifik untuk robot.
Ketika crawler bot sedang mengunjungi sebuah website, file robots.txt kemudian di-parsing yang isinya merupakan perintah-perintah kepada crawler tentang area-area yang tidak diijinkan untuk digerayangi. Pada umumnya, search engine dari crawler akan memiliki cache dari file ini. Sehingga walaupun kode yang yang di robots.txt sudah di update, namun crawler bot masih teteap menggerayangi area-area yang tidak dilarang.
Halaman-halaman yang umumnya tidak boleh digerayangai adalah yang berisi informasi sensitif, seperti halaman Login, halaman shopping cart, dan konten-konten tertentu yang bersifat rahasia.
Dibulan Maret tahun 2007, Google mengingatkan para webmaster untuk mencegah proses pencarian internal diindeks mengingat hal itu bisa dikategorikan sebagai spam.
Seperti telah dijelaskan dimuka, teknik SEO dapat dikategorikan sebagai 2 jenis, pertama adalah teknik white hat yang disarankan sementara teknik yang kedua adalah teknik black hat yang dilarang.
Para SEO white hat menggunakan teknik-teknik yang direkomendasikan oleh search engine atau dengan kata lain menggunakan desain pembuatan website yang baik dan tidak melakukan spamming dalam pengindeksan.
Teknik-teknik white hat SEO ini lebih mudah menguntungkan dalam jangka waktu yang lama karena hasilnya lebih awet. Adapun penggunaan teknik black hat dalam jangka waktu lama tidak menguntungkan karena website bisa di-banned jika search engine tersebut mengetahui.
Teknik SEO bisa disebut white hat jika memenuhhi persyaratan yang sesuai dengan garis-garis besar dari aturan yang diijinkan oleh search engine serta tidak melakukan penipuan atau spamming.
Intinya webmaster harus memastikan bahwa apa-apa yang diindeks oleh search engine haruslah sama sesuai dengan apa-apa yang terlihat oleh user apabila user mengklik link tersebut di search engine.
Tips uatama yang disarankan oleh para SEO white hat adalah "buatlah konten untuk pembaca dan jangan untuk search engine, kemudian buatlah semudah mungkin bagi bot crawler untuk mencari konten tersebut". Jadi jangan coba-coba untuk mempermainkan algoritma search engine.
Teknik black hat SEO berupaya untuk meningkatkan ranking dengan cara yang tidak direstui oleh search engine bahkan juga termasuk menggunakan teknik penipuan. Teknik yang bisa dilakukan antara lain membuat teks yang berukuran kecil, hidden atau disamakan warnanya dengan background sehingga user tidak dapat melihat namun sebenarnya teks tersebut ada.
Termasuk teknik black hat lainnya adalah pembuatan tag DIV yang invisible sehingga tidak terlihat oleh user. Biasanya jika ketahuan, search engine akan menghukumi website-website yang menggunakan teknik black hat ini dengan mengurangi rangking atau bahkan dengan menghilangkan entri situs mereka dari hasil pencarian.
Cara memberikan penalti tersebut bisa secara otomatis dengan merubah algoritma search engine atau dengan mengadakan review secara manual.
Contoh yang terkenal adalah Google pada tahun 2006 memberi penalti pada website BMW Jerman dan Ricoh Jerman karena melakukan teknik penipuan dalam rangking SEO. Walaupun kedua perusahaan tersebut kemudian meminta maaf dan penalti ditarik kembali.
Silahkan Berkomentar Sesuai Artikel EmoticonEmoticon