Как скрыть страницу от поисковиков

Короткий ответ

Добавьте в <head> мета-тег robots со значением noindex:

<head>
  <meta name="robots" content="noindex">
</head>
<p>Search engines will not show this page in results.</p>

Так прячут страницы, которым нечего делать в поиске: результаты поиска по сайту, корзину, черновики, страницу «Спасибо за заказ».

Не переходить по ссылкам

Значение nofollow просит не учитывать ссылки со страницы. Для одной ссылки то же самое делает атрибут rel:

<a href="https://example.com" rel="nofollow">A link search engines should not follow</a>

Так помечают ссылки в комментариях пользователей и рекламные ссылки — для рекламы есть ещё rel="sponsored".

robots.txt

Файл robots.txt в корне сайта запрещает роботам заходить на страницы, а noindex — показывать их в результатах. Это разные вещи: страница, закрытая в robots.txt, может попасть в поиск по ссылкам с других сайтов, только без описания.

Частая ошибка

Страницу закрывают и в robots.txt, и тегом noindex. Робот не заходит на страницу, поэтому так и не видит noindex — и страница может остаться в поиске. Чтобы убрать её из выдачи, оставьте страницу открытой для робота и поставьте noindex. И главное: это не защита — секретные страницы закрывают паролем.