Дубли появляются на любом сайте сами, без чьей-либо злой воли.

Дубли появляются на любом сайте сами, без чьей-либо злой воли.

Один и тот же материал открывается по адресу с параметрами и без, со слешем на конце и без него, через разные разделы каталога, в версии для печати и в сортировке по другому признаку. Для человека это одна страница, для робота несколько.

Что с этим делают:

— выбирают один основной адрес и указывают его в теге canonical на всех вариантах;
— настраивают постоянную переадресацию там, где вариант вообще не нужен;
— следят, чтобы внутренние ссылки вели именно на основной адрес, а не на его двойников;
— проверяют, что canonical не указывает по кругу и не ведёт на закрытую страницу.

Отдельная категория — почти-дубли: карточки, отличающиеся одним словом, и страницы фильтров, собранные автоматически. Их обычно не склеивают, а решают, нужны ли они вообще.

Аудит дублей стоит начинать не с инструментов, а со списка того, какими способами один материал может открыться.