Как убрать ботов с сайта
🤖 6 способов забанить и прогнать ботов с вашего сайта
Боты в основном просматривают сайты для сбора статистики для поисковых систем, таких как Google и Yandex, но есть также боты, которые собирают информацию, создают фальшивые аккаунты, распространяют вирусы или комментируют спамом на автопилоте – и это те самое вредоносные боты, которые могут нанести наибольший ущерб.
Внезапное нападение ботами на сайт может быть ошеломляющим, и это может стать кошмаром для администратора сайта.
Поисковые боты и спам-боты
Некоторые боты не столь страшны.
Поисковые роботы заходят на ваш сайт, чтобы каталогизировать новую информацию для поисковых систем, и вы как правило захотите, чтобы такой тип ботов просматривал ваш сайт.
Это тот самый процесс,который помогает поисковым системам индексировать ваш сайт среди результатов поиска.
Для администратора сайта очень важно определить ботов поисковой системы по сравнению с реальным трафиком, чтобы получить точную картину того, сколько посетителей и просмотров составляют люди.
Если у вас есть Google Analytics, обратитесь к расширенным настройкам, и вы можете разделить роботов поисковых систем и трафика, чтобы увидеть, как поисковые системы и люди смотрят ваш сайт.
Помимо вашего стандартного поискового бота, вы также можете столкнуться с различными спам-роботами.
Это наиболее опасные боты, от которых вы должны пытаться избавиться, когда они появляются.
Иногда они распространяют вирусы; в других случаях они спамят или заполняют сайт фальшивыми аккаунтами.
Обнаружение спам-ботов
1 Настройте аутентификацию
Если на вашем веб-сайте используются учетные записи пользователей, проверка подлинности при регистрации может сократить количество учетных записей ботов, которые могут пытаться зарегистрироваться.
Проверка подлинности при регистрации использует номер телефона или адрес электронной почты, прикрепленный к учетной записи, в качестве «проверочного кода», прежде чем пользователю будет разрешено зарегистрироваться.
Это легко выполнимо для большинства людей, хотя слишком много усилий для вредоносного сайта бота.
Это также позволяет администратору сайта узнать, что к новым учетным записям прикреплен законный адрес электронной почты или номер телефона: большинство поддельных учетных записей «спама» не имеют таких опций.
2 Использование блокировки
Используйте функции блокировки и удаления учетной записи на вашем сайте, чтобы не пропустить все новые и старые учетные записи пользователей, которые могут быть ботами.
Кроме того, чтобы запретить новым ботам регистрироваться на вашем сайте, вы также должны убедиться, что избавились от любых старых ботов или неактивных учетных записей, которых там быть не должно.
3 Использование капчи
Система Captcha была разработана для того, чтобы остановить спам-ботов с небольшими сложными задачами, которые вводят в заблуждение среднего бота.
Если вы заметили, что слишком много спам-комментариев проходят через ваш фильтр комментариев, возможно, пришло время добавить Captcha в раздел комментариев вашего сайта.
Вы сократите количество спам-ботов и комментарии почти мгновенно, гарантировано.
Для сайтов WordPress вы можете рассмотреть возможность использования решения для защиты от спама, такого как CleanTalk.
4 Модерация комментариев
Проверяйте раздел комментариев вашего сайта на регулярной основе.
Там вы можете удалить спам-комментарии, сделав это через автоматические процедуры, и, как правило, забанить этих пользователей.
Настройте ручную модерацию комментариев, если у вас есть серьезные проблемы с комментариями и спамом ботов.
Таким образом, каждый комментарий, размещенный на сайте, означает, что вы получили электронное письмо и должны были подтвердить его вручную.
Чтобы модерировать комментарии вручную, может потребоваться некоторое время, но иногда это единственный способ убедиться, что в разделе комментариев нет ботов и спама.
5 Изменение тега
Изобилие спама в папке входящих сообщений вашего сайта может означать, что боты привязались к тегу, который позволяет это сделать.
Проблема обычно заключается в странице “О сайте” или скрывается где-то в контактной форме сайта.
Выберите такую контактную форму, которая скрывает адрес электронной почты, на который идут электронные письма.
Если вы этого не сделаете, все, что нужно сделать боту, чтобы найти правильный адрес электронной почты, – это отсканировать исходный код, на котором адрес электронной почты в текстовом виде, а не внешний скрипт, к которому сложнее добраться.
6 Удаление неактивных пользователей и пользователей ботов
Точно так же, как и комментарии, пользователи также должны регулярно просматриваться администратором сайта.
Сследует проверять список подписчиков электронной почты и неактивных пользователей, а все то, что там не должно быть, необходимо удалить.
Пользователи ботов, которым удалось прокрасться через цепочку аутентификации при регистрации, легко идентифицировать и удалить, хотя неактивные учетные записи пользователей, содержащие только несколько сообщений, также должны быть удалены.
Неактивные учетные записи пользователей – это либо боты, либо они могут быть захвачены ботами: боты не всегда создают новые учетные записи, но могут также иногда захватывать старые и неактивные учетные записи для одного и того же использования.
Заключение
Надеюсь, реализовав мероприятия, показанные выше, вы остановите вредносных ботов на вашем сайте.
Если вы используете CMS, такие как WordPress, Joomla, Drupal и т. д., вы можете также рассмотреть возможность использования облачной защиты безопасности, такой как SUCURI, не только для предотвращения спама, но и многих других онлайн-угроз.
Как удалить фейковый трафик с вашего сайта
Очень часто мы отмечаем всплеск трафика на сайте, анализируя данные, собранные Google Analytics. Это воспринимается как интерес к ресурсу. И, разумеется, такой рост посещаемости не может не радовать.
Но это не всегда повод для радости. Позже мы обнаруживаем, что большая часть этого реферального трафика была отправлена от спамеров. Именно спам стал большой проблемой в последнее время.
Реферальный спам происходит, когда ваш сайт получает поддельные направления трафика от спам-ботов. Эта подделка трафика и записывается Google Analytics. Если вы замечаете в Аналитике трафик, полученный из спам источников, вам необходимо выполнить определенные действия, чтобы устранить эти данные из статистики.
Что такое бот?
Ботами принято называть программы, задача которых – выполнение повторяющихся задач с максимальной скоростью и степенью точности.
Пример хорошего бота — «Googlebot», используемый Google для сканирования и индексации веб-страниц в интернете.
Большинство ботов (будь то безопасные или опасные), не выполняют сценарии JavaScript, но некоторые это делают.
Поисковые боты, которые выполняют сценарии Javascript (как код аналитики Google) проявляются в отчетах Google Analytics и искажают показатели трафика (прямой трафик, реферальный трафик) и прочих метрических данных на основе сессий (показатель отказов, коэффициент конверсии и др).
Поисковые боты, которые не выполняют JavaScript (например, Googlebot), не искажают вышеуказанные данные. Но их посещения все равно записываются в логи сервера. Они также потребляют ресурсы сервера, ухудшают пропускную способность и способны негативно повлиять на скорость загрузки сайта.
Безопасные боты, в отличие от опасных, подчиняются директиве robots.txt. Они способны создавать поддельные учетные записи пользователей, рассылать спам, собирать адреса электронной почты и могут обходить CAPTCHA.
Опасные боты используют различные методы, усложняющие их обнаружение. Они могут влиять на веб-браузер (например, Chrome, Internet Explorer и т.д.), а также на трафик, поступающий от нормального сайта.
Невозможно сказать наверняка, какие опасные боты могут исказить данные аналитики Гугл, а какие — нет. Поэтому стоит рассматривать все опасные боты как угрозу целостности данных.
Спам-боты
Как понятно из названия, главная задача этих ботов – спам. Они посещают огромное количество веб-ресурсов ежедневно, отправляя HTTP запросы на сайты с поддельными заголовками реферера. Это позволяет им избежать обнаружения в качестве ботов.
Подделанный заголовок реферера содержит адрес веб-сайта, который спамер хочет продвигать, либо получать обратные ссылки.
Когда ваш сайт получает запрос HTTP от спам-бота с поддельным заголовком реферера, он сразу же записывается в журнале сервера. Если ваш журнал сервера имеет открытый доступ, то он может быть просканирован и проиндексирован Google. Система обрабатывает значение реферера в журнале сервера как обратную ссылку, которая в итоге влияет на ранжирование веб-сайта, продвигаемого спамером.
В последнее время алгоритмы индексации Google построены таким образом, чтобы не учитывать данные из логов. Это нивелирует старания создателей подобных ботов.
Спам-боты, имеющие возможность выполнять сценарии JavaScript, способны обходить методы фильтрации, используемые Google Analytics. Благодаря этой способности этот трафик отражается в аналитических отчетах Google.
Ботнет
Когда спам-бот использует ботнет (сеть зараженных компьютеров, расположенных локально или по всему миру), он может получить доступ к веб-сайту с помощью сотен различных IP-адресов. В этом случае черный список IP адресов или rate limiting (rate of traffic sent or received) становятся в значительной степени бесполезными.
Способность спам-бота искажать трафик на ваш сайт прямо пропорциональна размеру ботнета, который использует спам-бот.
При большом размере ботнета с отличающимися друг от друга IP-адресами, спам-бот может получать доступ к вашему веб-сайту без блокирования брандмауэром или другим традиционным механизмом безопасности.
Не все спам-боты отправляют заголовки реферера.
В этом случае трафик от таких ботов не появится как источник реферального трафика в отчетах Google Analytics. Он выглядит как прямой трафик, что делает его еще более трудным для обнаружения. Иными словами, всякий раз, когда реферер не передается, этот трафик обрабатывается в Google Analytics как прямой.
Spambot может создать десятки поддельных заголовков рефереров.
Теперь вы знаете, что не все спам-боты являются опасными. Но некоторые из них действительно опасны.
Очень опасные спам-боты
Цель действительно опасных спам-ботов — не только исказить трафик вашего веб-ресурса, очистить содержимое или получить адреса e-mail. Их цель — заразить чужой компьютер вредоносным ПО, сделать вашу машину частью бот-сети.
Как только ваш компьютер интегрируется в сеть ботнета, он начинает использоваться для пересылки спама, вирусов и других вредоносных программ на другие компьютеры в сети Интернет.
Есть сотни и тысячи компьютеров по всему миру, которые используются реальными людьми, одновременно являясь частью ботнета.
Существует высокая вероятность, что ваш компьютер является частью ботнета, но вы не знаете об этом.
Если вы решили заблокировать ботнет, вы, скорее всего, блокируете трафик, поступающий от реальных пользователей.
Существует вероятность, что как только вы заходите на подозрительный сайт из вашего отчета реферального трафика, ваша машина заражается вредоносным ПО.
Поэтому не посещайте подозрительные сайты из отчетов аналитики, не установов надлежащей защиты (антивирусных программ, установленных на вашем компьютере). Предпочтительно использование отдельной машины специально для посещения таких сайтов. Как вариант, можно обратиться к системному администратору, чтобы справиться с этой проблемой.
Умные спам-боты
Некоторые спам-боты (как darodar.com) могут посылать искусственный трафик даже без посещения вашего сайта. Они делают это путем воспроизведения HTTP запросов, которые исходит от кода отслеживания Google Analytics, используя при этом ваш идентификатор веб-ресурса. Они не только могут отправить вам поддельный трафик, но также и поддельных рефереров. Например, bbc.co.uk. Так как BBC является законным сайтом, то когда вы видите этот реферер в своем отчете, вы даже не думаете, что трафик, поступающий с уважаемого сайта, может быть фальшивкой. На самом же деле никто с BBC не посещал ваш сайт.
Этим умным и опасным ботам не нужно посещать ваш веб-сайт или выполнять сценарии JavaScript. Поскольку они фактически не посещают ваш сайт, эти посещения не записываются в журнал сервера.
И, раз их посещения не записываются в журнал сервера, вы не можете заблокировать их с помощью любых средств (блокирование IP, пользователя, реферального трафика и т.д.).
Умные спам-боты сканируют ваш сайт в поисках идентификаторов веб-собственности. Люди, которые не используют Google Tag Manager, оставляют код отслеживания Google Analytics на своих веб-страницах.
Код отслеживания Google Analytics содержит ваш идентификатор веб-ресурса. Идентификатор крадется умным спам-ботом и может передаваться в использование другим ботам. Никто не станет гарантировать, что бот, укравший ваш идентификатор веб-ресурса и бот, посылающий вам искусственный трафик, — одно и то же «лицо».
Вы можете решить эту проблему, воспользовавшись Google Tag Manager (GTM).
Используйте GTM для отслеживания Google Analytics на вашем сайте. Если ID вашего веб-ресурса уже был заимствован, то решать эту проблему, скорее всего, уже слишком поздно. Все, что вы можете сделать сейчас, — использовать другой ID или ждать решения проблемы со стороны Google.
Не любой сайт попадает под атаку спам-ботов.
Изначально задача спам-ботов — обнаружение и использование уязвимых сторон веб-ресурса. Они атакуют слабо защищенные сайты. Соответственно, если вы разместили страничку на «бюджетном» хостинге или с помощью пользовательского CMS, у него велики шансы подвергнуться нападению.
Иногда сайту, который часто попадает под атаку опасных ботов, достаточно сменить свой веб-хостинг. Этот простой способ действительно может помочь.
Следуйте инструкциям ниже, чтобы обнаружить источники спама
1) Перейдите к отчету реферального трафика в вашем аккаунте Google Analytics и отсортируйте отчет по проценту отказов в порядке убывания:
2) Посмотрите на рефереров с 100% или 0% показателем отказов, а также на тех, у кого 10 или более сессий. Скорее всего, это спамеры.
3) Если один из ваших подозрительных рефереров принадлежат к списку нижеперечисленных сайтов, то это реферальный спам. Вам можно не проверять это самостоятельно:
Вычисляем потенциальных «злых» ботов и блокируем их по IP
Доброго дня! В статье расскажу как можно пользователям обычного хостинга отловить IP адреса генерирующие излишнюю нагрузку на сайт и затем блокировать их при помощи средств хостинга, будет «чуть-чуть» php кода, несколько скриншотов.
Вводные данные:
То как выглядела примерная нагрузка по базам данных хостинга
В топе находится сайт о котором идёт речь, чуть ниже другие сайты которые имеют ту же cms и примерно такую же посещаемость, но создают меньше нагрузки.
Всё, теперь 94.242.55.248 — не имеет доступа к сайту и не генерирует нагрузку на БД
Но каждый раз так руками копировать не очень праведное занятие, да и к тому же код задумывался как автономный
Добавим файл, который будет исполняться по CRON каждые 30 минут:
В итоге после начала действия такого кода можно увидеть результат в хостинг панели:
PS: Материал авторский, хоть его часть я и публиковал на своём сайте но на Habre получилась более расширенная версия.
Как защититься от спам-ботов
Представьте ситуацию: вы открываете отчеты Google Analytics и видите рост реферального трафика. Отлично, думаете вы, появились какие-то жирные внешние ссылки, по которым народ приходит на сайт табунами. Однако анализ показывает, что 90 % реферального трафика идет с какого-то сомнительного ресурса. Более того, под вашими публикациями ежедневно появляются невнятные комментарии в стиле «классная тема, а я вот тут недавно скачал что-то классное и бесплатное». Естественно, комментаторы ссылаются на это самое классное и бесплатное. Похоже, на ваш сайт приходят спам-боты. Как от них защититься и зачем это делать?
Зачем блокировать и фильтровать спамеров
Столкнувшись со спам-ботами, многие веб-мастера ограничиваются премодерацией комментариев. Этого мало по трем причинам. Во-первых, если спамеры активно посещают ваш сайт, это искажает аналитические данные. Несколько сотен или даже десятков визитов спам-ботов в месяц делают некорректной статистику о реферальных переходах, а также поведенческие метрики.
Во-вторых, массовые нашествия ботов создают лишнюю нагрузку на сервер. Если речь идет об одном-двух визитах в сутки, скорее всего, вы не заметите проблем. А если визиты исчисляются десятками в день, ваши реальные посетители могут заметить падение скорости загрузки страниц. Как вы знаете, это большая проблема. Наконец, боты могут не просто оставлять комментарии. Некоторые программы ищут уязвимости в вашем движке или пытаются получить доступ к серверу.
Как защититься от спам-ботов
Вы можете воспользоваться тремя способами защиты от спамеров. Первый можно считать самым радикальным и опасным. Второй и третий — это мягкие способы защиты. Для повышения эффективности их можно использовать одновременно.
Вместо звездочек поставьте IP-адреса, которые вы хотите заблокировать. Скорее всего вам придется постоянно добавлять в список запрещенных новые «айпишники».
2. Настройте фильтры Google Analytics
Этот способ решает единственную задачу: защищает статистические данные от искажения. При этом спам-боты продолжают ходить на ваш сайт, оставляют комментарии, создают нагрузку на сервер и, возможно, пытаются получить доступ к управлению ресурсом.
Чтобы исключить данные о действиях ботов на сайте, вам необходимо создать новый фильтр. Придерживайтесь следующего алгоритма действий:
Также вы можете исключить данные о посещениях из определенных стран, регионов и городов. Для этого выберите соответствующую опцию с помощью выпадающего меню «Поле фильтра».
Также в меню «Настройки представления» подтвердите опцию «Фильтрация роботов». Дефолтный фильтр Google Analytics может исключить посещения некоторых роботов из отчетов.
3. Используйте возможности CMS и дополнительные плагины
Этот метод защищает пользователей от спам-комментариев, а ваш сайт от попыток взлома. Выбирайте конкретные инструменты в зависимости от движка, на котором работает ваш ресурс. В число универсальных инструментов входят следующие:
Обратите внимание, антиспам-плагины и премодерация комментариев ухудшают пользовательский опыт. Поэтому используйте их, если спамеры действительно оставляют много комментариев на вашем сайте.
Какую тактику защиты от спам-ботов выбрать
В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров
Найти и уничтожить! Как удалить ботов в Instagram, «ВКонтакте» и Facebook с помощью сервисов
Боты в соцсетях – это те же «мертвые души». Они никогда не купят, не приведут друзей и не оставят комментарий. Значит, их можно и нужно удалять. Как это сделать с помощью специальных сервисов – в нашей статье.
Сегодня боты, то есть фейковые аккаунты, есть во всех соцсетях. Боты придуманы, чтобы быстро, дешево и массово увеличивать количество подписчиков в аккаунтах, ставить лайки и даже оставлять комментарии. Получается, это обман. И самого себя («Раз у меня много подписчиков, я крутой!»), и живых фолловеров («Раз в аккаунте столько подписчиков, значит здесь действительно что-то стоящее»), и рекламодателя («Вложусь в рекламу на таком аккаунте и получу хороший качественный трафик и клиентов»).
Как распознать бота среди своих фолловеров? Обратите внимание на:
Конечно, аккаунт, в котором 20 000 подписчиков (пусть половина из них и накручена) на первый взгляд выглядит привлекательнее, чем тот, на котором фолловеров всего 5 000. Но при этом именно у второго из-за живой аудитории шансов реально зарабатывать – больше.
Удалять ботов можно вручную (подходит для микроаккаунтов до 1000-2000 подписчиков) и автоматически (с помощью специальных сервисов). О последних и поговорим ниже.
Как удалить ботов в Instagram
Существует огромное количество сервисов для борьбы с ботами в Instagram. Я выбрала самые простые, но при этом действенные и проверила на себе (точнее, своих аккаунтах). Работает!
Удалить ботов можно автоматически или задав определенные параметры (количество подписчиков, срок «жизни»).
Сервис платный. Анализ страницы обойдется в 99 рублей, а удаление ботов и мусора из подписчиков – от 299 рублей за 1 неделю.
Сам Instaplus ботов не ищет. Для этого можно использовать, например, Spam Guard. Пройти полную проверку и получить список ботов тут можно всего за 1 рубль.
А дальше этот список добавляется в Instaplus и настраивается удаление фейковых аккаунтов.
Для этого нужно сначала настроить задачу – «Отписка».
Затем выбрать блокировку по списку.
И загрузить список ботов в личный Block-list.
Стоимость работы с сервисом Instaplus в течение месяца составляет 399 рублей за 1 аккаунт (доступны все функции сервиса: масслайкинг, массфоловинг, масскомментинг, масслукинг историй, автоподписка и отписка, автосообщения в директ – для 1 аккаунта).
Как удалить ботов «ВКонтакте»
Во «ВКонтакте» есть 2 типа ботов. Первые – удаленные или заблокированные аккаунты. Вторые – успешно маскирующиеся под аккаунты живых людей.
Можно пользоваться парсером бесплатно для решения небольших задач, например, поиск и удаление фейковых аккаунтов. Стоимость базового тарифа за 1 месяц составляет 699 рублей.
Как вычислить те фейковые аккаунты, которые не заблокированы и не «собачки», а похожи на реальных пользователей? Увы, автоматические сервисы для этого не предусмотрены.
Яркий пример – аккаунт моего знакомого. С виду чистый фейк, правда (нет фото и записей на странице)? Но я точно знаю, что за ним – реальный человек. Просто не любит быть на виду и не хочет показывать себя в соцсетях.
Что делать в такой ситуации? Один из вариантов – писать таким аккаунтам в личные сообщения. Если молчит долгое время, вероятно, перед вами фейк.
Другие сервисы, с помощью которых можно почистить ботов во «ВКонтакте»:
Как удалить ботов в Facebook
Считается, что чистить аккаунт в Facebook от ботов совсем необязательно. Потому и специальных сервисов для удаления ботов из этой соцсети не предусмотрено. Алгоритмы Facebook делают это без всякого дополнительного участия и пристально следят, чтобы вражеский бот не проник на дружественную территорию (а если и проник, быстро его оттуда удалить).
Но если вы хотите быть уверенным в корректной работе встроенных алгоритмов, можно установить специальное расширение для браузера Google Chrome. Для этого нужно найти магазин Chrome Enterprise и установить расширение Mass Friends Deleter.
Искать фейковые аккаунты придется вручную. Обычно они расположены в самом конце списка с левой стороны экрана в приложении. При клике на фейковый аккаунт он автоматически добавляется в правую часть экрана. Я выбрала аккаунты со странными никнеймами и те, что написаны на арабском языке – вряд ли это реальные люди или мои потенциальные друзья/клиенты.
Когда список нежелательных друзей собран, нажмите кнопку «Удалить друзей», и он очиститься полностью.
В заключение
После чистки рядов количество подписчиков может значительно снизиться. Но это не повод расстраиваться, а возможность сосредоточиться на качественном SMM продвижении, которое приведет к вам живых подписчиков.
SMM – сложный и объемный механизм, которым нужно заниматься комплексно. Если времени и знаний у вас не хватает, обратитесь к профессионалам. Это, как минимум, сэкономит вам время и нервы (хотя не такой уж это и минимум, как показывает практика).
Интересный контент, комьюнити-менеджмент, вдумчивая аналитика и эффективная реклама приведут к быстрой раскрутке аккаунтов безо всяких ботов.