суббота, 13 декабря 2008 г.

Собираем топики из топа буржуйской выдачи

Как уже всем известно, недавно вышло обновление програмного комплекса Хрумер 5.0 , с просто таки аццким пробивом форумов.
Но одного пробива для успеха недостаточно - нужно знать, как действовать, чтобы получить максимальную отдачу. Какую стратегию выбрать, чтобы достучаться до сердца капризного американца с кредиткой в кармане?

А что для этого нужно? Нам нужно взгянуть на поисковую выдачу глазами американца!
И поможет нам в этом Hrefer 2.96 , который идет в комплекте с хрумером.

Мы заставим Хрефер иммитировать обыкновенного американца (pendosis vulgaris) листающего страницы Гугля (можно использовать и твой любимый MSN или Yahoo, Хрефер это позволяет)

Что нам нужно будет сделать:
1) К сожалению, Хрефер (пока!) не умеет работать с покупными проксями использующими авторизацию. Поэтому нам понадобится любой недорогой ВПН с американским IP (спамить мы с него не будем, поэтому абузы от него держать не потребуется). Такой ВПН с выделенным IP можно купить, например, здесь (Server 1 США + выделенный IP = 15 wmz).
Купили подписку, скачали и установили программу-клиент, поместили сертификат в папку программы, нажали "Connect". Если значок программы загорелся зеленым цветом, значит все у нас получилось, и переходим к следующему шагу. Если не получилось сразу, изучаем руководство по настойке на сайте.

2) Так как мы хотим собрать исключительно топики, нам придется слегка отредактировать стандартный шаблон Хрефера для поиска. Заходи в папку Хрефера (ты его, конечно, уже распаковал и поместил в его папку key.lic от Хрумера?!) , найди подпапку Templates, и, зайдя в нее, создай новый текстовый файл:
Имя файла - forum_topics.txt .
Внутрь файла нужно поместить вот эти строки:
viewtopic
posting
modules.php
viewpost.php
showthread.php
showtopic
(если у тебя есть еще признаки форумных топиков, смело добавляй их тоже)

В результате должно получиться приблизительно так:
Cохраняем файл и двигаем дальше.

3) Теперь нам нужны кеи. Причем не мусор, а желательно ВЧ (высокочастотные) - такие, которые использует много людей. Где такие взять? Ну самое простое купить - например у Пастухова.
Тематику выбирай ту, которая ближе тебе. Я для примера возьму несколько популярных таблеток, и выберу те кеи, у которых Google Searches/Month higher or equal 500000 (в базе Пастухова можно отфильтровать по этому параметру), то есть это и будут наши высокочастотники.
Ну а если базы под рукой нет, высокопопулярные запросы вполне можно нагенерировать и самому.
Файл с кеями сохраняем в папку Words Хрефера.

4) Настраиваем Хрефер для выполнения нашей задачи:
В папке Хрефера нам нужно отредактировать файл hrefer.ini:

Здесь нам нужно изменить параметр ParsingDelay, выставив ему значение 30.
Зачем? Это позволит Хреферу эмулировать запросы реального человека, и наш выделенный IP очень долго не будут банить (а выделенный IP, как ты уже догадался, нам нужен чтобы вместе с нами не парсил Гугл еще с десяток умников - тогда пауза в 30 секунд нам не поможет).
Сохраняем файл и идем дальше.

Теперь точно так же открываем на редактирование файл engines.ini: если нам нужны топики из топа, то совершенно ни к чему парсить всю первую тысячу ссылок, хватит и первой сотни.
Редактируем и сохраняем.

Теперь запускай прогу, и иди в раздел Options.
Снимай галку с Convert all links to index (мы же топики хотим собрать),
снимай с Enable filtering of duplicated links by hostnames (разные топики с одного форума нам тоже не повредят),
ставь галку напротив Do not use "Additive words" (мы же хотим собирать ссылки из топа именно по ВЧ запросам, так что дополнительные слова в запросе нам ни к чему),
и снимай галку напротив Use proxy , Refresh proxy и Check for anonymity (мы ж и так теперь американцы, благодаря ВПН ;-)).
Параметр Randomize datacenters используй по желанию.
Все, жми Save:

Теперь иди во вкладку Words database и выбирай из списка свою базу ВЧ кеев:

Дальше ты идешь во вкладку Search Engine options, и выбираешь свой любимый поисковик и темплейт "forum_topics":

А в разделе Multithreading ставь Parser max. threads count: 1
Не бойся что парсинг будет идти медленно - мы же собираем самые сливки по самым жирным запросам.

Все, Хрефер готов к запуску!

Да, забыл уточнить - когда включено OpenVPN соединение, ВЕСЬ трафик твоего компа будет идтм через американский сервер! Поэтому лучше всего поставить Хрефер на отдельный комп (мощный для нашей задачи не нужен), где и поднять ВПН соединение.

Запустив парсинг, стоит забыть о Хрефере примерно на полдня. Вернувшись, ты обнаружишь несколько сотен/тысяч (как повезет) собранных ссылок на топики.

Что же с ними делать, спросишь ты? :-))
Придумать не сложно - у тебя в руках сотни актуальных топиков , заточенных под US трафик, висевших в топе сегодня.
Учись, cмотри, анализируй! Думай, почему они вылезли, изучай беклинки.
Также полученную базу можно сконвертировать инструментом rgen.exe и рассылать СВОИ ответы в эти топики.

В общем, вперед на штурм выдачи с Xrumer 5.0 !

Да, если ты его еще не приобрел, то сейчас точно самое время купить Хрумер.

1 комментарий:

  1. Привет, собираешься писать дальше. Или бизнес лопнул. Нужен мануальчик какой нить по парсингу Хрефером?

    ОтветитьУдалить