Как увеличить ботовый и автоматизированный трафик — и когда это оправдано

Что на самом деле представляет собой ботовый и автоматизированный трафик

Ботовый трафик — иногда его называют автоматизированным трафиком — это любой запрос к вашему сайту, исходящий от программы, а не от человека. Бот открывает соединение, запрашивает страницу у вашего сервера и записывает ответ или действует на его основе — и всё это без участия человека. Отраслевые данные годами оценивают долю ботов примерно в половину всей веб-активности, поэтому, если вы никогда на это не смотрели, большая часть того, что уже показывают ваши логи, автоматизирована, а не человеческая.

Это важно, потому что «ботовый трафик» — единственный ярлык, натянутый на очень разные вещи. Краулер поискового движка — это бот, и вы хотите видеть его на сайте каждый день. Скрапер цен — это бот, и его вы, вероятно, не хотите. Сервис мониторинга, проверяющий ваш аптайм, — это бот, работающий на вас; скрипт для перебора учётных данных — это бот, работающий против вас. И инструмент, обещающий нарастить трафик вашего сайта роем автоматизированных хитов, — тоже бот, единственный реальный результат которого — цифра в логе, которой не доверится ни одна аналитическая платформа.

Так что, прежде чем отправляться на поиски бота для увеличения трафика сайта, стоит понять, что у вас уже есть. Остальная часть этого руководства рассматривает ботовую и автоматизированную активность как то, что нужно читать, сортировать и целенаправленно контролировать, потому что именно в этом ценность для бизнеса, и именно на это большинство команд ни разу не потратило и часа.

Может ли бот действительно увеличить трафик вашего сайта?

Технически — да, и в этом ловушка. Направьте трафик-бота на свой сайт, и число сырых хитов в логе сервера мгновенно вырастет. Несколько часов цифры выглядят чудесно. Но хит в логе — это не визит, который считает какой-либо аналитический инструмент, и разрыв между этими двумя вещами — это место, где рушится всякое обещание «бота для увеличения трафика сайта».

Вот почему. Современная аналитика считает не запросы; она считает реальные сессии браузера, которые загружают скрипт отслеживания, устанавливают cookie, отрисовывают страницу и ведут себя как человек. Базовый бот не делает ничего из этого. Он отправляет HTTP-запрос, забирает ответ и идёт дальше, поэтому инструменты, которыми пользуются команды, — от Google Analytics до Similarweb и Semrush — либо вообще не видят визит, либо отфильтровывают его за считанные минуты. Лог заполняется; отчёты не двигаются. Вы добавили кучу хитов и не вырастили ничего, чем кто-либо мог бы воспользоваться.

Есть и вторая цена, которую легко упустить. Автоматизированные хиты потребляют ресурсы вашего сервера, искажают данные, на которые вы опираетесь при принятии решений, и способны настолько провалить ваши метрики вовлечённости за время кампании, что аналитик сочтёт весь аккаунт мусором. Бот, который раздувает одну цифру, отравляя все остальные, хуже, чем никакого бота, поэтому честный ответ на вопрос «может ли бот увеличить трафик моего сайта?» таков: он двигает не ту цифру, а это не одно и то же.

Типы ботов, которые приходят на ваш сайт

Чтобы хорошо управлять ботовым трафиком, сначала его нужно назвать. Большинство автоматизированных визитов в ваших логах попадают в горстку категорий, и каждая требует своего ответа. Используйте таблицу ниже, чтобы отсортировать распространённых ботов по источнику и по тому, что вам следует делать, когда вы их встречаете.

Читайте таблицу как список сортировки. Первые две строки — это боты, которым вы помогаете; две средние — те, кого вы притормаживаете; две последние оставляете за дверью. Ошибка, которую совершает большинство команд, — относиться ко всему как к недифференцированной массе: либо полностью это игнорировать, либо пытаться заблокировать всё и случайно оставить за дверью поисковые краулеры, которые держат сайт видимым. Немного порядка по источнику превращает пугающую цифру в ту, которой вы можете управлять.

Как читать ботовый трафик в ваших логах

Лог доступа вашего сервера — это самое честное свидетельство ботовой и автоматизированной активности, которым вы располагаете. В отличие от аналитики, которая отфильтровывает ботов до того, как вы их увидите, сырой лог показывает каждый запрос — и человеческий, и автоматизированный в равной мере. Используйте его, чтобы выяснить, что на самом деле приходит на сайт, и это не стоит вам ничего, кроме часа внимания.

Начните с полей, которые несёт каждая строка лога. IP-адрес указывает на источник; строка user-agent часто сама объявляет бота по имени; путь запроса показывает, чего он хотел; а код ответа показывает, что он получил. Примените группировку по user-agent — и картина проступает быстро: воспитанные боты представляются, поисковые краулеры концентрируются на вашем ключевом контенте, а подозрительные прячутся за общими или поддельными агентами и раз за разом долбят один и тот же эндпоинт.

Дальше несколько простых проходов по данным расскажут вам почти всё, что стоит знать:

• Сортируйте по user-agent. У самых тяжёлых ботов обычно есть имя. Используйте известный список, чтобы с одного взгляда отделить поисковый краулер от скрапера.
• Сортируйте по IP и диапазону. Лавина хитов из одного и того же диапазона хостинга — это бот; настоящие человеческие визиты рассредоточены по множеству потребительских сетей.
• Следите за паттерном запросов. Люди бродят; боты маршируют. Источник, который запрашивает один и тот же путь каждые несколько секунд, игнорирует ваши изображения и никогда не загружает скрипт отслеживания, — автоматизирован, что бы ни говорил его user-agent.
• Сверяйте с аналитикой. Всё, что есть в логе и никогда не появляется в вашей аналитике, — это хит, который инструмент уже отбросил: полезно знать, прежде чем платить панели за то, чтобы она нагенерировала ещё.

Вам не нужна дорогая платформа, чтобы это сделать. Используйте анализатор логов, электронную таблицу или несколько проходов командной строки по сырым данным, чтобы вывести на свет ботов, которые важны. Идея в том, чтобы превратить абстрактную тревогу в конкретные цифры, по которым можно действовать: какой источник, сколько хитов и наносит ли что-то из этого вред.

Дешёвые рекламные сети, которые люди пробуют вместо ботов

Когда боты оказываются тупиком, а органический поиск идёт слишком медленно, следующее, что пробует большинство команд, — самый дешёвый платный трафик, какой они могут достать. Этот поиск почти всегда приводит к рекламным сетям самообслуживания: сетям pop-рекламы, сетям push-рекламы и сетям нативной рекламы, которые продают клики оптом за долю того, что стоят Google Ads или соцсетевая реклама. Стоит понять, как работают эти дешёвые сети, потому что дешёвая рекламная сеть — самый распространённый способ превратить небольшой бюджет в лавину низкокачественного трафика сайта, и эта реклама проваливается по причинам, очень похожим на причины провала ботов.

Заход всегда один и тот же: дешёвая реклама, объём оптом и низкий минимальный депозит, чтобы начать мог кто угодно. Сеть pop-рекламы с радостью отправит сто тысяч pop-объявлений на ваш сайт по цене нескольких таргетированных визитов из Google. Загвоздка в том, что дешёвая реклама и оптовые клики дёшевы и массовы по причине: трафик почти не таргетирован, и значительная его часть ведёт себя настолько по-ботовски, что ваша аналитика относится к этой рекламе так же, как к ботовому трафику.

Pop-реклама и popunder

Pop-реклама — самый дешёвый платный трафик в открытом вебе. Pop-объявление открывает новую вкладку браузера, нацеленную на ваш сайт, когда пользователь кликает где-то на странице издателя, поэтому pop-визит технически реален, но почти никогда не намерен. Сети pop-рекламы продают эти pop-объявления оптом: вы задаёте низкий минимальный депозит, выбираете гео-цель, и сеть заливает ваш сайт pop-трафиком за считанные минуты после старта. Стоимость за pop-визит мизерна, что как раз и есть причина, по которой pop-реклама — первая дешёвая сеть, которую пробуют люди.

Проблема в том, что pop-реклама играет против вас так же часто, как и за вас. Поскольку pop открывается без намерения, посетитель из pop-объявления отскакивает почти мгновенно, поэтому вовлечённость pop-кампании очень похожа на ботовый трафик: без скролла, без задержки, отскок, который никогда не падает. Купите pop-рекламу оптом — и ваш сайт заполнится дешёвыми низкокачественными визитами, которые хороший фильтр аналитики убирает: тот же режим провала, что и у бота, только с прилипшим всплывающим окном браузера. Дешёвая pop-реклама двигает цифру; она редко делает работу, которую делает реальный визит.

Push-реклама

Push-реклама — другой дешёвый базовый вариант. Сеть push-рекламы собирает список пользователей, согласившихся на уведомления браузера, а затем продаёт вам возможность отправить им push-объявление оптом. Push-реклама дешева, минимальный депозит низкий, а таргетинг работает на уровне гео и устройства, поэтому push-реклама выглядит более управляемой, чем pop-реклама. Но push-трафик всё равно остаётся дешёвым массовым трафиком: клик по push-объявлению реален, намерения мало, и значительная часть оптового объёма приходит от пользователей, которые касаются push-объявления рефлекторно, а не из интереса.

Как и pop-реклама, push-реклама может сработать для прямого оффера, где ценность имеет любой клик, но она редко срабатывает для B2B-сайта, которому нужно, чтобы трафик выглядел как вовлечённая аудитория. Низкая цена и оптовый объём — вся привлекательность push-рекламы, и они же — вся проблема: push-сеть отправляет клики оптом, а не таргетированные визиты, которые нужны вашим отчётам.

Нативная и display-реклама

Нативная и display-реклама на ступень выше по цене. Сеть нативной рекламы размещает ваше объявление внутри контентной ленты издателя, чтобы оно вписывалось, а display-реклама показывает привычные баннеры по инвентарю рекламной сети. И то и другое стоит дороже, чем pop- или push-реклама, оба дают лучший таргетинг, и оба всё равно отправляют множество кликов с низким намерением оптом, если вы оптимизируете кампанию в погоне за самым дешёвым инвентарём. При правильном использовании нативная и display-реклама могут сработать; купленные как источник дешёвого массового трафика, они ведут себя как любая другая дешёвая сеть.

Сети самообслуживания вроде RichAds

Спросите вокруг, какой самый дешёвый способ купить трафик оптом, и одно имя всплывает постоянно: RichAds. RichAds — рекламная сеть самообслуживания, которая продаёт pop-, push- и нативную рекламу в одном месте, с низким минимальным депозитом и таргетингом по гео, устройству и источнику. RichAds популярна именно потому, что упаковывает дешёвые форматы — pop-рекламу, push-рекламу и нативную рекламу — за единой панелью, так что команда может запустить массовую кампанию за минуты и увидеть, как клики приземляются на сайт. Это удобство реально, и именно поэтому RichAds появляется на каждом сайте, перечисляющем дешёвые трафик-сети.

RichAds — настоящая, работающая рекламная сеть, и для партнёрских офферов она делает свою работу. Но к RichAds применимы те же предостережения, что и к любой дешёвой pop- или push-сети: трафик, который отправляет RichAds, массовый, с низким намерением и лишь смутно таргетированный, поэтому кампания RichAds, нацеленная на B2B-сайт, склонна раздувать счётчик визитов, не двигая метрики, которые важны. Покупаете ли вы pop-рекламу в RichAds, push-рекламу в RichAds или нативную рекламу в другой сети, дешёвая массовая модель работает одинаково, и вашей аналитике она звучит очень похоже на ботовый трафик, которого вы пытались избежать. RichAds это не исправит, потому что не может исправить ни одна дешёвая рекламная сеть: низкая цена покупает объём, а не намерение.

Помогает поставить эти дешёвые рекламные сети рядом с каналами, которые вы уже знаете. Google Ads и соцсетевая реклама стоят гораздо больше за клик, чем pop- или push-сеть, но Google и соцплатформы таргетируют по намерению и интересу, поэтому этот трафик работает больше. Органический поиск и органические соцсети ещё медленнее, и всё же органические визиты — самые таргетированные из всех, потому что посетитель выбрал прийти сам. Дешёвая рекламная сеть — на противоположном конце: реклама дешева, а объём массов, но ни Google, ни соцсети, ни органический поиск не назвали бы результат таргетированным. Если ваша цель — реальная вовлечённость, Google, соцсети и органика бьют самую дешёвую рекламную сеть каждый раз; если ваша цель — большая массовая цифра за наименьшие траты, дешёвые pop- и push-сети выигрывают только по цене и оставляют вас с той же проблемой, что и бот.

Когда дешёвая реклама действительно работает?

Дешёвая реклама действительно работает в узком наборе случаев, и стоит быть к ней справедливым. Pop-реклама, push-реклама и кампания RichAds срабатывают, когда оффер транзакционный и любой клик может окупить себя: установки приложений, розыгрыши, некоторые партнёрские воронки. В этих нишах реклама работает, потому что объём — ключ, а намерение почти не важно, поэтому дешёвая массовая модель делает ровно ту работу, для которой построена. Если это ваш сайт, самая дешёвая сеть, попадающая в гео-цель вашего сайта, — разумный инструмент, и RichAds или похожая рекламная сеть сделает работу за считанные минуты.

Проблема начинается, когда B2B-сайт заимствует тот же сценарий. Pop- или push-объявление, которое работает для установки приложения, не работает для обдуманной покупки, потому что за кликом нет намерения. Вы можете таргетировать рекламу по гео, можете таргетировать по устройству, можете даже таргетировать по источнику в RichAds, но никакой объём таргетинга не превратит рефлекторный клик по pop-объявлению в покупателя. Реклама работает механически — она срабатывает, клик приземляется, визит считается минуту-другую, — но она не работает на цель, которой является вовлечённый трафик на ваш сайт.

Сравните это с тем, как на самом деле работают Google, соцсети и органика. Google Ads заставляет рекламу конкурировать за намерение, поэтому трафик, кликающий по объявлению Google, уже чего-то хочет. Соцсетевая реклама позволяет таргетировать аудиторию по интересу, поэтому социальный клик приходит теплее, чем pop-клик. Органический поиск и органические соцсети — самые медленные из всех, но органические визиты самоотбираются, вот почему органика бьёт любую дешёвую рекламную сеть по качеству, даже когда проигрывает в скорости. Поставьте pop-кампанию RichAds рядом с визитом из Google, соцсетей или органики, и разница в том, как они работают, очевидна, стоит вам открыть аналитику: дешёвая реклама раздувает итоги вашего сайта, тогда как Google, соцсети и органика двигают реальные цифры вашего сайта.

Ничто из этого не делает дешёвые сети бесполезными: это делает их специфичными. Используйте pop-рекламу, push-рекламу или RichAds там, где дешёвые, массовые, низконамеренные клики делают работу, и обращайтесь к Google, соцсетям или органике там, где сайту нужен таргетированный, вовлечённый трафик. А когда даже Google, соцсети и органика слишком медленны для дедлайна перед вами, быстрый и честный вариант — вовсе не более дешёвая рекламная сеть.

Последняя практическая заметка о дешёвых сетях. Если вы пробуете pop-рекламу, push-рекламу или покупку в RichAds, ограничьте минимальный депозит, таргетируйте одно гео и понаблюдайте, как реклама ведёт себя на вашем сайте несколько минут, прежде чем масштабировать: дешёвая реклама, которая не работает на маленьком тесте сайта, не сработает и оптом. Держите эти траты на рекламу вне страниц сайта, где живут ваши конверсии из Google и соцсетей, чтобы плохая pop-кампания никогда не замутила то, как Google и соцсети отчитываются о вашем сайте, и чтобы Google прежде всего оставался чистым. Отправляйте дешёвую рекламу на простую лендинг-страницу вашего сайта, а не на ваши денежные страницы, сверяйте рекламу с вашей базой Google, соцсетей и органики и снимайте любую рекламу, которая тянет цифры вашего сайта вниз. Работа по защите реального трафика вашего сайта стоит больше, чем когда-либо сэкономит дешёвая реклама.

Так что, прежде чем перевести минимальный депозит на самую дешёвую рекламную сеть, какую найдёте, будьте честны насчёт того, чего требует работа. Если цифры должны выдержать проверку — перед партнёром, инвестором, вашим собственным советом директоров, — ни одна дешёвая pop- или push-кампания, ни одна массовая покупка в RichAds вас туда не приведёт. Реальные, таргетированные сессии приведут, и вот здесь вступает следующий раздел.

Если вам действительно нужно, чтобы цифры сдвинулись

Большинство людей, ищущих бот для увеличения трафика сайта, на самом деле охотятся не за ботами. У них есть дедлайн — запуск, раунд финансирования, ревью партнёрства — и им нужно, чтобы сайт выглядел таким же активным, каким становится бизнес. Бот кажется быстрым путём — ровно до того момента, когда цифры отфильтровываются, и кто-то спрашивает, почему рухнула вовлечённость.

Честный способ получить этот результат — пропустить ботов и использовать реальные сессии браузера. Вместо программных хитов, которые никогда не отрисовывают страницу, реальные люди на резидентных соединениях загружают сайт, устанавливают cookie, прокручивают и ведут себя так, как ожидает аналитика, поэтому визиты считаются, а не отфильтровываются. Это та же цель, которую рекламирует бот, доставленная тем единственным, что бот подделать не может: подлинной сессией с реальными данными за ней.

Именно это и запускает Afiled. Наша страница ботовый трафик против реального браузера раскрывает сравнение целиком, а наша услуга таргетированного веб-трафика доставляет визиты, которые вы можете видеть приземляющимися на живой панели, сегментированные по гео и поведению, отчитанные против вашей собственной базы. Многие команды используют это именно для этого — малый бизнес, скейл-апы, SaaS-компании, e-commerce-бренды и агентства, которые их обслуживают, — когда им нужны реальные, защитимые цифры вместо лога, полного хитов.

Ничто из этого не заменяет медленную, накопительную работу контента и SEO, и мы никогда не стали бы притворяться, что заменяет. Но когда календарь не ждёт, реальные сессии делают работу, которую бот лишь обещает, и выдерживают, когда данные проверяют.

Чек-лист по ботовому трафику для занятых команд

Если вы не вынесете из этого руководства ничего другого, используйте этот короткий список раз в квартал. Он охватывает весь цикл — чтение логов, сортировку ботов, управление каждым источником и поддержание данных чистыми — в формате, который можно передать тому, кто отвечает за сайт.

• Выгрузите неделю сырых данных лога и посчитайте автоматизированный трафик по user-agent и источнику.
• Подтвердите, что поисковые краулеры могут достичь вашего контента и не заблокированы потерянным правилом.
• Отметьте любой единичный источник, отправляющий непропорциональную долю ботовых хитов.
• Используйте ограничение скорости для скраперов и блокируйте вредоносных ботов; полезных оставьте в покое.
• Используйте опцию фильтрации ботов в аналитике, чтобы отчёты, которыми вы делитесь, исключали шум.
• Отметьте, какие «визиты» никогда не доходят до аналитики: это и есть автоматизированный шум, которого панель лишь добавила бы больше.
• Решите, действительно ли бизнесу нужно больше визитов; если да, используйте реальные сессии вместо бота.

Сделанное последовательно, это превращает ботовую и автоматизированную активность из смутной тревоги в управляемую часть того, как работает сайт. Это также экономит деньги: команды, понимающие собственные логи, редко попадаются на инструмент, продающий бот для увеличения трафика сайта, потому что уже видят, почему хиты никогда не засчитались бы.