• 🪖 Даём отпор армии ботов с помощью CloudFlare

    Год назад я подготовил подробную инструкцию и записал видео, о том как отбиваться от ботов с помощью CloudFlare. Неожиданно для меня самого, инструкция начала расходится по чатам.

    Через какое-то время на меня посыпались вопросы, о том, что интерфейс сервиса поменялся и требуется новая инструкция. Но боты меня не беспокоили, поэтому я отвечал, что подготовлю в тот момент, когда будет актуально.

    Вселенная меня услышала и на один из сайтов навалились десятки тысяч ботов с прямыми заходами и из поиска, и я понял что это знак.

    ➡️ Ниже список правил и краткий мануал о том, как за 5 минут отбиться. Здесь надо понимать, что последний тренд разворачивать ботовые сетки на IPv6, скорее всего этого правила вам будет достаточно, но заодно актуализируем все остальные.

    🖍 Все правки происходят через Edit expression, чтобы не перепечатывать правила, вставляете строчку и жмете Use expression builder.

    Итак, заходим в CloudFlare, добавляем сайт, переходим в Security – WAF, жмём Creat rule и погнали:

    🧡Правило #1: Пускаем хороших ботов
    Rule name: Good Bots
    Правило – (cf.client.bot) or (http.user_agent contains “Mail.RU_Bot”)
    Action: Skip (пропускаем) и ниже выбираем все доступные галочки. Жмём Save.

    🧡Правило #2: Фильтруем IPv6 и заход на HTTP
    Rule name: IPv6 / HTTP
    Правило: (ip.src in {::/0}) or (not ssl)
    Action: Managed Challenge

    🧡Правило #3: Проверяем всех, кто идет с протоколом меньше HTTP2 или заходит напрямую
    Rule name: HTTP<2 / Direct Правило: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "") Action: JS Challenge 🧡Правило #4: (доп.) Блокируем страны. В метрике открываем Отчёты - Аудитория - География и проверяем на аномалии. Rule name: Country Block Правило: (ip.geoip.country ne "RU" and ip.geoip.country ne "BY" and ip.geoip.country ne "KZ") или (ip.geoip.country eq "GB") Action: Block (всех кроме указанных стран - заблокировать, либо блокируем только выбранную страну). 🖥 Пошаговая инструкция уже на канале 🖥


  • 🤖 Мониторинг доступности сайта

    Искренняя рекомендация крутого сервиса отслеживания доступности сайта – UptimeRobot. В бесплатной версии можно добавить до 50 сайтов с интервалом запросов 5 минут, проверка идёт с помощью четырех методов:
    – HTTP(S)
    – Keyword (поиск слова в исходном коде)
    – PING (на доступность сервера)
    – PORT (на доступность порта)

    Пишется вся история падений, считается средний uptime за всё время наблюдений, мгновенные уведомления в кучу мессенджеров, в том числе в Telegram, есть приложения для Android/IOS.


  • 🚩 Недавний пост разлетелся по репостам аж на 250 шт., он все еще актуален, но есть важное дополнение, которое вскрылось в обсуждениях.

    🤖 Фактически, все боты сейчас гуляют через IPv6, просто это дешевле и практичнее, поэтому если к вам ломятся накрутчики, то как и было сказано ранее вероятнее всего вам нужно работать только с этим правилом. Проблема в том, что Managed Challenge, через который мы рубим накрутчиков, затрагивает и живых пользователей – они видят промежуточный экран клауда и ожидают пока пройдут проверку, это не есть хорошо, особенно когда имеется альтернатива.

    ❔ Что вообще делать и как разобраться, какой тип ботов вам гонят: настраиваем правила из поста выше и смотрим в течении пары часов, на какое правило приходится самая большая нагрузка (прямые заходы, IPv6, HTTP<2 и т.д). ➡️ Если это IPv6, то все что нам необходимо сделать - выключить совместимость c IPv6 в настройках сети (раздел Network в сайдбаре). Но дело в том, что тумблер включен и через интерфейс его не выключить, поэтому действуем по инструкции: - Переходим по ссылке - Получаем Global API Keys - Заходим на сайт и вбиваем почту, API и ищем пункт Отключение IPv6 - Жмём Запустить выполнение и дожидаемся подтверждения - Обновляем страницу и видим, что тумблер выключен ☑️С этого момента боты больше не могут попасть на сайт, а вот живые люди из под операторов Мегафона и МТС проходят без проблем. Тестировал все выходные, результаты на скриншоте. За это дополнение огромная благодарность @ruubot


  • Начинайте неделю правильно – c SEO-аудита топового сайта для взрослых
    🍓

    🖥 Что в ролике:
    – Типы страниц, методы их оптимизации и распределение трафика по ним
    – Разбор успешных механик продвижения
    – Технические ошибки и косяки
    – Точки роста и упущенные направления

    В общем, полноценный SEO-аудит сайта-миллионика от А до Я и наглядное руководство по тому, как изучать конкурентов.

    Самое интересное, что механики легко подходят для любого екомма, агрегаторов и маркетплейсов.

    В силу понятных ограничений со стороны YouTube страницы сайта демонстрировать не могу, но вам же никто не мешает посмотреть их самостоятельно 🙂
    Строго 🔞 – https://youtu.be/wVC18er-ktQ


  • В пятницу открыл Keys.so, сначала подумал, что верстка поехала, а оказывается дизайн обновили 😂 и выкатили крупное обновление – теперь собирают данные по внешним ссылкам 🔗, пока что Ahrefs на минималках, но это реально огромный шаг вперёд.

    Первая мысль – подключили API Ahrefs, а оказывается нет – целиком собирают и накапливают данные самостоятельно, поэтому пока еще картина не полная. До 3 сентября отчёт по ссылкам будет доступен на всех тарифах, потом только на корпоративном и профессиональном.

    Напомню, что по промокоду heymm20 скидка 20% на первую оплату 🫡


  • 🐸 Есть такой режим Mode – List, когда выгружаешь свой список страниц и лягушка сканирует только их. Режим не самый популярный, я использую его когда нужно пропарсить список урлов разных сайтов и достать нужные данные (мету, h1, любой xpath), чаще всего у конкурентов, ну или найти кого-нибудь.

    Если при обновлении на 19 версию при сканировании в этом режиме лягушка начинает обходить не только заданные урлы, но и остальные, то самое простое сбросить настройки на дефолтные, не забыв установить галочку в Configuration – Advanced – Always Follow Redirects (спасибо @niksokol)

    P.S На скриншоте отправил на обход 7 урлов с http, сработали редиректы, добавились новые урлы в очередь, а заодно запустился парсинг по всему сайту


  • 🤖 Официально заблокировать доступ ChatGPT к сайту можно следующими способами:

    Через настройку в robots.txt

    User-agent: GPTBot
    Disallow: /

    Или через блокировку IP адресов

    20.15.240.64/28
    20.15.240.80/28
    20.15.240.96/28
    20.15.240.176/28
    20.15.241.0/28
    20.15.242.128/28
    20.15.242.144/28
    20.15.242.192/28
    40.83.2.64/28

    Блокировка с помощью CF на скриншоте 🖥


  • Наткнулся на интересную реализацию региональности у интернет-магазина, которую до этого ни разу не встречал. Сайт – alltime.ru, классический ИМ (интернет-магазин) на битриксе.

    По регионам с ИМ принято работать двумя способами: поддомены и монодомен. Плюсов у одного домена сильно больше – нет негатива от гугла, не надо вкладываться в бессмысленное ссылочное этих поддоменов, не надо думать о краулинговом бюджете, склейках и проблемах с индексацией. Собственно поэтому Мвидео, ДНС и прочие давно съехали на один домен.

    Так вот, региональная стратегия у Alltime – динамические папки для страниц фильтров и категорий, через которые они собирают запросы из городов кроме Москвы. Настроено грамотно, региональность включается не для всех фильтров и не для всех комбинаций, а только там где есть трафик. В общем, рекомендую покопать самостоятельно, позиции и трафик и говорят о том, что схема прекрасно работает.


  • Наткнулся на интересную реализацию региональности у интернет-магазина, которую до этого ни разу не встречал. Сайт – alltime.ru, классический ИМ (интернет-магазин) на битриксе.

    По регионам с ИМ принято работать двумя способами: поддомены и монодомен. Плюсов у одного домена сильно больше – нет негатива от гугла, не надо вкладываться в бессмысленное ссылочное этих поддоменов, не надо думать о краулинговом бюджете, склейках и проблемах с индексацией. Собственно поэтому Мвидео, ДНС и прочие давно съехали на один домен.

    Так вот, региональная стратегия у Alltime – динамические папки для страниц фильтров и категорий, через которые они собирают запросы из городов кроме Москвы. Настроено грамотно, региональность включается не для всех фильтров и не для всех комбинаций, а только там где есть трафик. В общем, рекомендую покопать самостоятельно, позиции и трафик и говорят о том, что схема прекрасно работает.


  • 🖥 В среду в 11:00 расскажу на канале Михаила Шакина про то, что делать сайтам, которые занимают топ-1 в нише по объему трафика.

    О том как находить точки роста для них (а они есть) и что с ними делать как раз и поговорим.

    ☑️Все указанные механики будут работать и для небольших сайтов. Как всегда, в онлайн режиме будут ответы на вопросы, приходите, уверен почерпнете для себя несколько интересных подходов, о которых еще не говорил у себя на каналах 🤟

    🖥 На скриншоте один из слайдов с графиками распределения CTR по выдаче в зависимости от позиции, есть идеи что за ниша?