Данные аукционов для вашего сайта: API, выгрузки и парсеры

Если сайт у вас уже есть и переделывать его вы не планируете, данные аукционов можно получить и без перехода на нашу платформу. Ниже — какие данные мы собираем, в каком виде их можно забрать и почему собственный парсер обычно оказывается дороже аренды.

Какие данные мы собираем сами

Мы не перепродаём чужие выгрузки: парсим площадки своими воркерами, переводим, сопоставляем модели и комплектации, храним фотографии на своих серверах и следим за обновлением 24/7. Аукционы Японии обновляются каждый час, остальные каталоги — ежедневно.

Данные приходят уже подготовленными к показу: названия и характеристики переведены на русский, модели сопоставлены между источниками (одна и та же машина в Китае может называться по-разному), а цена пересчитана в рубли по курсам шести банков с учётом пошлины, утилизационного сбора и доставки.

Три способа получить наши данные

Выбор зависит от того, что у вас уже есть и кто будет это поддерживать.

Третий вариант мы согласовываем отдельно: нужно понять, какие направления вам нужны, какой объём и частота обновления, кто отвечает за хранение фотографий и как считаются конечные цены. Напишите нам — обсудим вашу задачу и назовём условия.

Почему свой парсер выходит дороже

Написать парсер под одну площадку — работа на несколько дней. Проблемы начинаются потом, и они постоянные:

• Площадки меняются. Разметка, структура ответов и защита переделываются без предупреждения. Каждая такая правка — это простой каталога, пока разработчик разбирается.
• Защита от парсинга. Часть источников проверяет тип IP-адреса и режет запросы из дата-центров, часть требует капчу. Нужны прокси, их мониторинг и обход блокировок — отдельная инфраструктура.
• Перевод и нормализация. Японский и китайский текст нужно не просто перевести, а привести к единым маркам, моделям и комплектациям, иначе фильтры на сайте не работают, а страницы не находятся в поиске.
• Фотографии. Их десятки на каждый лот, и отдавать их с чужого домена нельзя — ссылки умирают вместе с лотом. Значит своё хранилище и свой трафик.
• Расчёты. Пошлина, утильсбор, проходной возраст, санкционные ограничения и курсы валют меняются законодательно, за этим нужно следить.
• Дежурство. Обновление должно работать ночью, в выходные и в праздники — иначе витрина «замерзает» с проданными машинами.

Поэтому базы арендуют, а не покупают: вы платите за то, что данные живые, а не за разовый слепок. Разово купленная база через месяц — это каталог проданных автомобилей, то есть минус к доверию и минус к позициям в поиске.

Что ещё отдаётся вместе с данными

• Калькуляторы под каждую страну — расчёт конечной цены с пошлиной, утильсбором и доставкой более чем в 30 городов. Подробнее — на странице калькуляторов.
• Курсы валют от шести банков: йена, вона, юань, доллар, дирхам — обновляются автоматически.
• Каталог комплектаций на русском: клиент видит, что именно входит в его машину.
• XML-фиды для выгрузки объявлений на внешние площадки и для рекламных кампаний.

С чего начать

Посмотрите каталоги в работе на демо-сайте demo.pro-auctions.ru — это те же данные, что получают клиенты. Состав полей и цены по каждому направлению — в разделе баз автомобилей. Собрать смету под свой набор стран можно в калькуляторе стоимости, а для нестандартной задачи — просто напишите нам.

Чем это отличается от «подключения каталога за пару тысяч»

Такие предложения на рынке есть, и для витрины «чтобы что-то показывать» они рабочие. Разница в трёх пунктах, которые видно не сразу, а через месяц-два работы:

• Фотографии. Мы храним их у себя. Если каталог отдаётся ссылками на чужой сервер, при продаже лота изображения умирают — у клиента остаются битые карточки, а у поисковика повод понизить сайт.
• Закрытие проданных. Мы оперативно убираем ушедшие лоты и добавляем новые. Витрина с проданными машинами обходится дороже, чем экономия на подписке: человек звонит по машине, которой нет.
• Расчёт конечной цены. У нас цена в рублях считается прямо в списке — с пошлиной, утильсбором, доставкой и вашей комиссией, по курсам шести банков. Это не отдельный калькулятор рядом с каталогом, а часть каталога.

Наши цены по направлениям — на страницах Японии, Кореи, Китая, ОАЭ и США. Сравнить проще всего на живом примере: demo.pro-auctions.ru — это те же данные, что получают клиенты.