Нужны ли прокси для Key Collector?

Для небольших заданий программа может работать и с вашего IP. Но при массовом сборе все запросы идут с одного адреса и быстро упираются в капчу, поэтому для регулярной работы прокси обычно добавляют.

Сколько прокси нужно для съёма позиций?

Точной цифры нет: всё зависит от объёма запросов, пауз и поисковика. Начните с небольшого числа адресов, посмотрите, как часто появляется капча, и добавляйте прокси или потоки постепенно.

Подходят ли IPv6-прокси для Яндекса и Google?

Основные домены обоих поисковиков доступны по IPv6, поэтому для съёма позиций и парсинга выдачи такие прокси часто подходят. Перед покупкой большого объёма проверьте связку вашей программы и нужных сервисов на тестовом задании.

Можно ли с российского IP проверить выдачу по другому городу России?

Да. Страну поисковик определяет по IP, а город в Яндексе можно задать настройкой региона, и программы для съёма позиций делают это сами. Для выдачи другой страны нужен IP этой страны.

Почему капча появляется, даже если я работаю через прокси?

Обычно из-за слишком частых запросов на каждый IP или плохой репутации адреса. Снизьте число потоков, добавьте паузы, возьмите больше адресов или более надёжный тип прокси.

Прокси для SEO: позиции, парсинг выдачи и Key Collector

Короткий ответ: прокси в SEO нужны, когда программа сама отправляет много запросов в поисковик — снимает позиции, парсит выдачу и подсказки, собирает семантику. Без них все запросы идут с одного IP, и поисковик быстро начинает показывать капчу. Для большинства таких задач подходят личные IPv4 или IPv6 нужной страны: по IP поисковик ещё и определяет регион выдачи.

Где в SEO нужны прокси

Прокси нужны не всегда. Если вы пользуетесь облачным сервисом съёма позиций, запросы к поисковикам отправляет сам сервис со своих адресов — ваши прокси ему не нужны. Они нужны, когда запросы идут с вашего компьютера или сервера: работает десктопная программа или собственный скрипт.

Типичные задачи:

Съём позиций. Программа по списку запросов проверяет, на каком месте стоит сайт в Яндексе и Google. Сотни запросов, несколько регионов и две поисковые системы — это уже тысячи обращений к поисковику.
Парсинг выдачи. Сбор топа по запросам: какие сайты и страницы в нём стоят, какие у них сниппеты. Нужен для анализа конкурентов и кластеризации ядра.
Сбор поисковых подсказок. Программа подставляет к фразе буквы и слова и собирает всё, что предлагает поисковик. Даже из небольшого списка фраз получается много запросов.
Сбор семантики и частотностей. Расширение ядра, проверка частотности, чистка мусорных фраз — это тоже массовые запросы к сервисам поисковиков.

Если вы собираете данные не только с поисковиков, но и с сайтов конкурентов, общие правила те же, что в статье прокси для парсинга.

Key Collector и подобные программы

Key Collector — одна из самых известных десктопных программ для сбора семантики. Похоже устроены и другие программы для съёма позиций и парсинга: они отправляют запросы к поисковикам прямо с вашего компьютера, поэтому нагрузка ложится на ваш IP.

В таких программах обычно есть раздел сетевых настроек, куда добавляют список прокси. Названия пунктов и формат ввода отличаются от программы к программе и от версии к версии, поэтому точный путь смотрите в документации своей программы. Чаще всего подходит строка вида ip:port:логин:пароль или отдельные поля для адреса, порта, логина и пароля.

Несколько практических моментов:

Протокол. Большинство SEO-программ работают с HTTP-прокси, многие — и с SOCKS5. Если программа просит выбрать тип, укажите тот, чей порт вы вписали: у одного прокси порты для HTTP и SOCKS5 могут отличаться. Разница протоколов — в статье HTTP или SOCKS5.
Проверка перед запуском. Во многих программах есть встроенная проверка прокси. Запустите её до большого задания: нерабочий адрес лучше найти сразу, а не по ошибкам в середине сбора.
Аккаунты поисковика. Если программа работает через учётные записи поисковика, держите правило «один аккаунт — один IP». Когда несколько аккаунтов ходят с одного адреса, поисковик может связать их и ограничить все сразу.
Официальные API. У поисковиков есть платные API выдачи, и часть программ умеет с ними работать. При очень больших объёмах сравните этот вариант с прокси.

Почему поисковик показывает капчу

Капча — способ поисковика убедиться, что запросы отправляет человек, а не программа. Точные правила ни Яндекс, ни Google не раскрывают, но основные причины понятны:

Много запросов с одного IP. Человек не задаёт сотни запросов подряд. Если все потоки программы идут через один адрес, капча появится быстро.
Высокая частота. Даже на разных IP запросы без пауз выглядят как работа робота.
Репутация адреса. IP дата-центров, особенно те, с которых до вас уже активно парсили, получают капчу чаще. Поэтому общие прокси для SEO — сомнительная экономия: соседи по адресу могут нагружать тот же поисковик. Подробнее — в статье личные или общие прокси.
Однотипное поведение. Одинаковые заголовки запросов, отсутствие cookies, обращения строго через равные промежутки — всё это признаки автоматики.

Прокси решают первую проблему: нагрузка распределяется по многим адресам, и на каждый приходится меньше запросов. Остальное настраивается в самой программе — паузами между запросами, числом потоков и таймаутами.

Сколько нужно прокси и потоков

Универсальной цифры нет: она зависит от поисковика, объёма запросов, пауз и качества IP. Рабочий подход такой:

Не меньше адресов, чем потоков. Если программа запускает 10 потоков, ей нужно хотя бы 10 прокси. Иначе несколько потоков одновременно пойдут через один IP, и капча начнётся раньше.
Начните с малого. Запустите небольшое задание на нескольких прокси и посмотрите, как часто появляется капча.
Увеличивайте постепенно. Добавляйте потоки или сокращайте паузы, пока капча не начнёт появляться заметно чаще. Затем вернитесь на шаг назад — это и есть ваш рабочий режим.
Пересчитайте под объём. Когда понятно, сколько запросов в час спокойно проходит через один IP, разделите на это число свой объём — получите нужное количество адресов.

Для разового сбора семантики под небольшой проект часто хватает нескольких адресов. Для ежедневного съёма позиций по многим проектам и регионам нужен пакет побольше.

IPv6 или IPv4 для SEO

IPv6 — самый дешёвый способ получить много адресов, а в SEO-задачах количество адресов часто важнее всего. Основные домены Яндекса и Google доступны по IPv6, поэтому для съёма позиций и парсинга выдачи IPv6-прокси нередко подходят.

Но есть оговорки:

Не все сервисы поддерживают IPv6. Поиск может работать, а отдельный сервис поисковика или сторонний сайт, который вы тоже парсите, — нет. С сайтом без поддержки IPv6 такой прокси просто не соединится.
Проверьте связку целиком. Работают ли IPv6-прокси с вашей программой и нужными сервисами, проще всего понять на тестовом задании из нескольких десятков запросов — до покупки большой пачки.
Поисковик может учитывать подсеть. IPv6-адреса выдаются крупными блоками, и поисковик может считать запросы не по отдельному адресу, а по всему блоку. Поэтому больше IPv6 не всегда значит пропорционально меньше капчи.

Личные IPv4 дороже, зато работают с любыми сайтами и сервисами. Если IPv6 не подошёл или капча идёт слишком часто, переходите на них. Подробное сравнение — в статье IPv4 или IPv6. Для самых строгих случаев, когда IP дата-центров быстро получают капчу, есть резидентские прокси — IP домашнего интернета.

Регион IP и региональная выдача

Выдача зависит от региона: по одному и тому же запросу в разных городах и странах могут показываться разные сайты. Для съёма позиций это главное — смотреть нужно ту выдачу, которую видят ваши клиенты.

Регион поисковик берёт из нескольких источников:

IP-адрес. По нему поисковик определяет страну и примерное местоположение.
Настройки поиска. В Яндексе регион можно задать явно — в настройках или параметром в адресе запроса. Программы для съёма позиций обычно так и делают: вы выбираете регион в задании, и программа подставляет его сама.
Аккаунт и история. Если в браузере выполнен вход, поисковик может учитывать и это. Для чистой ручной проверки используйте отдельный профиль браузера без входа в аккаунт.

Практический вывод: страну задаёт IP, город — настройка региона в программе. Для российской выдачи берите российские прокси, для проверки выдачи в Казахстане или Германии — IP этих стран. В Google страна IP заметно влияет на выдачу, поэтому для позиций в другой стране прокси этой страны особенно важен. Если IP одной страны, а регион в задании — другой, результат может оказаться смешанным, и позиции будут неточными.

В Proxy365 личные IPv4 есть больше чем в 100 странах — можно собрать набор под каждый рынок, где вы продвигаете сайт.

Что брать под задачу

Сбор семантики под один-два проекта: несколько личных IPv4 нужной страны.
Ежедневный съём позиций по многим запросам: пакет IPv6, если поисковик и программа с ними работают; иначе личные IPv4.
Парсинг выдачи и подсказок в больших объёмах: IPv6 или личные IPv4, а при частой капче — резидентские.
Проверка выдачи в других странах: личные IPv4 нужной страны.

Общие IPv4 подойдут разве что для редких ручных проверок: для массовых запросов к поисковикам их репутация непредсказуема.

Коротко

Прокси нужны, когда запросы к поисковику отправляет ваша программа: съём позиций, парсинг выдачи и подсказок, сбор семантики.
Капча появляется из-за большого числа запросов с одного IP — распределяйте нагрузку по адресам и не запускайте потоки без пауз.
Количество прокси подбирайте на тесте: начните с малого и увеличивайте, пока капча не участится.
IPv6 — дёшево и много, если сервисы их поддерживают; личные IPv4 — универсальный вариант. Страну выдачи задаёт IP, город — настройка региона.
Подобрать прокси под задачу можно за 4 вопроса, актуальные цены — в @Proxy365Bot.