Можно конечно, есть по крайней мере 3 способа которые я знаю, но лучше с примерами посмотрите в статье о том как запретить индексацию сайта, очень подробно расписано