Обзор и применение

A-Parser — парсер для профессионалов#

A-Parser — многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик…), A-Parser содержит более 90 встроенных парсеров.

Ключевыми особенностями A-Parser является поддержка платформ Windows/Linux, веб интерфейс с возможностью удаленного доступа, возможность создания своих собственных парсеров без написания кода, а также возможность создавать парсеры со сложной логикой на языке JavaScript / TypeScript с поддержкой NodeJS модулей.

Производительность, работа с прокси, обход защиты CloudFlare, быстрый HTTP движок, поддержка управления Chrome через puppeteer, управлением парсером по API и многое другое делают A-Parser уникальным решением, в данной документации мы постараемся раскрыть все преимущества A-Parser и способы его использования.

Чек-лист по выбору парсера

Краткий чек-лист, который поможет выбрать наиболее подходящий инструмент или сервис.

1. Четко определите, для каких задач вам нужен парсер: анализ SEO конкурентов или мониторинг цен, сбор данных для наполнения каталога, съем позиций и т.д.
2. Определите, какой объем данных и в каком виде нужно получать.
3. Определите, как часто вам нужно собирать данные: единоразово или с определенной периодичностью (раз в день/неделю/месяц).
4. Выберите несколько инструментов, которые подходят для решения ваших задач. Попробуйте демо-версии. Узнайте, предоставляется ли техническая поддержка (желательно даже протестировать ее — задать парочку вопросов и посмотреть, как быстро вы получите ответ и насколько он будет исчерпывающим).
5. Выберите наиболее подходящий сервис по соотношению цена/качество.

Для крупных проектов, где требуется парсить большие объемы данных и производить сложную обработку, более выгодной может оказаться разработка собственного парсера под конкретные задачи.

await this.request(method, url[, queryParams][, opts])#

awaitthis.request(method, url, queryParams, opts)

Скопировать

Получение HTTP ответа по запросу, в качестве аргументов указывается:

• — метода запроса (GET, POST…)
• — ссылка для запроса
• — хэш с get параметрами или хэш с телом post-запроса
• — хэш с опциями запроса

Если используется метод POST, то тело запроса можно передать двумя способами:

просто перечислив названия переменных и их значения в queryParams. Например:

{

key set.query,

id1234,

type ‘text’

}

Скопировать

через переменную body в opts. Например:

body ‘key=’ + set.query + ‘&id=1234&type=text’

Скопировать

— массив условий для проверки получаемого контента, если проверка не проходит, то запрос будет повторен с другим прокси.

Возможности:

• использование в качестве условий строк (поиск по вхождению строки)
• использование в качестве условий регулярных выражений
• использование своих функций проверок, в которые передаются данные и хедеры ответа
• можно задать сразу несколько разных типов условий
• для логического отрицания поместите условие в массив, т.е. означает что запрос будет считаться успешным, если в полученных данных содержится подстрока и при этом регулярное выражение не находит совпадений на странице

Для успешного запроса должны пройти все указанные в массиве проверки

let response =awaitthis.request(‘GET’, set.query,{},{

check_content

<\/html>|<\/body>,

‘XXXX’,

‘</html>’,

(data, hdr)=>{

return hdr.Status==200&& data.length>100;

}

});

Скопировать

— автоматическое определение кодировки и преобразование в utf8

Возможные значения:

• — на основе заголовков, тегов meta и по содержимому страници (оптимальный рекомендуемый вариант)
• — указывает что документ в кодировке utf8
• — любая другая кодировка

— хэш с заголовками, название заголовка задается в нижнем регистре, можно указать в т.ч. cookie
Пример:

headers{

accept’image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8′,

‘accept-encoding»gzip, deflate, br’,

cookie’a=321; b=test’,

‘user-agent»Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36’

}

Скопировать

— позволяет переопределить порядок сортировки заголовков

— максимальное число переходов по редиректам, по умолчанию 7, используйте 0 для отключения перехода по редиректам

— число попыток выполнения запроса, по умолчанию берется из настроек парсера

— перечень кодов HTTP ответов, которые парсер будет считать удачными, по умолчанию берется из настроек парсера. Если указать то все ответы будут считаться удачными.
Пример:

parsecodes{

2001,

4031,

5001

}

Скопировать

— таймаут ответа в секундах, по умолчанию берется из настроек парсера

— определяет использовать ли компрессию (gzip/deflate/br), по умолчанию включено (1), для выключения нужно задать значение

— максимальный размер ответа в байтах, по умолчанию берется из настроек парсера

— хэш с куками. Пример хэша:

«cookie_jar»{

«version»1,

«.google.com»{

«/»{

«login»{

«value»»true»

},

«lang»{

«value»»ru-RU»

}

}

},

«.test.google.com»{

«/»{

«id»{

«value»155643

}

}

}

}

Скопировать

— указывает на номер текущей попытки, при использовании этого параметра встроенный обработчик попыток для данного запроса игнорируется

— автоматическая эмуляция заголовков браузера (1 — включено, 0 — выключено)

— переопределяет использование прокси для отдельного запроса внутри JS парсера поверх глобального параметра Use proxy (1 — включено, 0 — выключено)

— отключает добавление Extra query string к урлу запроса (1 — включено, 0 — отключено)

— позволяет скачать файл напрямую на диск, минуя запись в память. Вместо file указывается имя и путь под каким сохранить файл. При использовании этой опции игнорируется все, что связано с data (проверка контента в check_content, response.data будет пустой и т.д.).

— определяет передавать (1) или нет () в ответе data/pages[], может использоваться для оптимизации

— определяет возвращать data как строку String () или как объект Buffer (1), по умолчанию возвращается строка String

— автоматический обход JavaScript защиты CloudFlare используя браузер Chrome (1 — включено, 0 — выключено)

— позволяет переходить по редиректам, объявленным через HTML мета тег:

<metahttp-equiv=»refresh»content=»time; url=…»/>

Скопировать

– позволяет передавать для https соединений
​

Результаты#

https://techcrunch.com/wp-content/uploads/2015/04/codecode.jpg
https://specials-images.forbesimg.com/imageserve/5f302109ffad89f9130e07db/960×0.jpg?cropX1=0&cropX2=4800&cropY1=243&cropY2=2943
https://victoria.mediaplanet.com/app/uploads/sites/102/2019/07/mainimage-26.jpg
https://inteng-storage.s3.amazonaws.com/img/iea/9lwjAVnM6E/sizes/ocde_resize_md.jpg
https://miro.medium.com/max/11520/0*Jy3heMl_yP_fQwMO
https://cdn-images.welcometothejungle.com/5DDbrp9_kdlw05Z0hzc7kYEpaaruHhUUWJqs-nW1o8k/rs:auto:980::/q:85/czM6Ly93dHRqLXByb2R1Y3Rpb24vdXBsb2Fkcy9jYXRlZ29yeS9jb3Zlci8yNjYwLzE1NDg4My9jb2xsZWN0aW9uX2NhdGVnb3J5X2JlaGluZF90aGVfY29kZS5qcGc
https://code.org/shared/images/social-media/codeorg2020_social.png
https://miro.medium.com/max/12032/0*ghyQGW_ZCFN_afQ0
https://www.ionos.com/digitalguide/fileadmin/DigitalGuide/Teaser/code-editoren-t.jpg

Скопировать

Возможности и преимушества#

Многопоточность и производительность

• A-Parser работает на основе последних версий NodeJS и JavaScript движка V8
• AsyncHTTPX — собственная реализация HTTP движка с поддержкой HTTP/1.1 и HTTP/2, HTTPS/TLS, поддержка прокси HTTP/SOCKS4/SOCKS5 с опциональной авторизацией
• в зависимости от конфигурации компьютера и решаемой задачи
• Каждое задание(набор запросов) парсится в указанное число потоков
• При использовании нескольких парсеров в одном задании каждый запрос к разным парсерам выполняется в разных потоках одновременно
• Парсер умеет запускать несколько заданий параллельно
• также проходит в многопоточном режиме

Создание собственных парсеров

• Возможность создания парсеров без написания кода
• Использование регулярных выражений
• Поддержка многостраничного парсинга
• Вложенный парсинг — возможность
• Полноценная : разбор и формирование
• их для обработки полученных результатов прямо в парсере

Создание парсеров на языке JavaScript

• Богатое встроенное API на основе async/await
• Поддержка
• Возможность подключения любых NodeJS модулей
• Управление Chrome/Chromium через puppeteer с поддержкой раздельных прокси для каждой вкладки

Мощные инструменты для формирования запросов и результатов

• Конструктор запросов и результатов — позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям, XPath…)
• : из файла; перебор слов, символов и цифр, в том числе с заданным шагом
• Фильтрация результатов — по вхождению подстроки, равенству, больше\меньше
• Уникализация результатов — по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
• Мощный шаблонизатор результатов на основе — позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
• В парсере используется система пресетов — для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
• Настроить можно все — никаких рамок и ограничений
• и настроек позволяет легко обмениваться опытом с другими пользователями

API

• Возможность интегрировать и управлять парсером из своих программ и скриптов
• Полная автоматизация бизнес-процессов
• Клиенты для PHP, NodeJs, Perl и Python

await this.cookies.*#

Работа с cookies для текущего запроса

Получение массива cookies

awaitthis.cookies.getAll();

Скопировать

Установка cookies, в качестве аргумента должен быть передан массив с cookies

asyncparse(set, results){

this.logger.put(«Start scraping query: «+set.query);

awaitthis.cookies.setAll(‘test_1=1′,’test_2=2’);

let cookies =awaitthis.cookies.getAll();

this.logger.put(«Cookies: «+JSON.stringify(cookies));

results.SKIP=1;

return results;

}

Скопировать

— установка одиночного cookie

asyncparse(set, results){

this.logger.put(«Start scraping query: «+set.query);

awaitthis.cookies.set(‘.a-parser.com’,’/’,’Test-cookie-1′,1);

awaitthis.cookies.set(‘.a-parser.com’,’/’,’Test-cookie-2′,’test-value’);

let cookies =awaitthis.cookies.getAll();

this.logger.put(«Cookies: «+JSON.stringify(cookies));

results.SKIP=1;

return results;

}

Скопировать

async processConf?(conf)#

Данный метод используется для преобразования конфига по каким либо правилам, например при использовании каптчи нам всегда необходимо использовать сессии:

asyncprocessConf(conf){

if(conf.useCaptcha)

conf.useSessions=1

}

asyncparse(set, results){

if(conf.useSessions)

awaitthis.login();

}

Скопировать

Существование данного метода обусловлено тем что A-Parser поддерживает динамические поля конфига и в рамках одного задания конфиг может иметь разные значения, такой сценарий возможен в 2ух случаях:

• Использование шаблонов в полях конфигурации, например для поля
• Использование при вызове одного парсера из другого()

Метод вызывается однократно перед . Для случаев описанных выше вызывается дополнительно перед обработкой() каждого запроса

Основные правила применения :

• Используйте только если преобразования конфига имеет эффект на производительность
• Имейте ввиду что выполняется один раз, а может выполняться для каждого запроса, в этом случае может быть нарушена логика, если зависит от изменяющихся полей конфига(см. ниже)

Скачивание картинок по ссылке#

A-Parser позволяет использовать цепочку заданий, по завершению первого, начнется выполнение второго, в качестве запросов для второго задания будут ссылки из первого

Скачать пример

eJyNVstS2zAU/ZWOJovQBsdZdOMNE2jT0qGEQliFdEaNb4xAlowkE1KTf++V7PiR
GpOdJd2n7jnHyoih+lFfKdBgNAnmGUncNwnINykjDh/OYxrBhy9yLbikISgyIAlV
GpQ1n5Obr0GQWwaBM9VoEMKKptyQQUbMJgEMJp9BKRYCHrIQ14mSLxsFRjHn8Ex5
as1Gvk+2HV4YfylTYSqXUYd5KGPKRC38er32Ilest5RxVyauam5dhhE/0PC+bgii
y1Szv3Bg1KXk8tBSFYvujT7Q2G0fZopYSAyLm+aLxYAgkhAFeiJVTC2iesnIK+BV
Ht7QZ5hJPFwxDtX2BFeXNLaxeiE1YE+9lQvUP/LMi41Aw5AZJgXleQYLyCrrrWBP
rhaNIBMR2uPSwm2icPTYILggdnOzq3BOem5NMEzq/H/lPiRYUa5hQDSWO6FYTLh/
wgwoaqSaJrYm3M+IFGPOL+AZeGXm4p+mjCOV9HiFTueFY7vJ9L8Y27LFeiqcyVph
DWUUtzqd/qy8QnkhI0uLP9g3ZzEzuNZnjk8B8XHzESAp7+1S4k4sFZRpjEqhTI6a
kYCw86+mNk6qrUYXjck0N5dSrFg0LTC1s0zFDIVpKs5knHCwbZFcXZpKlGq4rgAz
1sVQ7KIsdz/UmUto72GnUsRIyfWPm7zwRDHE42dbbozXWq+huNol5fz2+qJRXYUv
x0rHjiUCN5IIJ+zJ8qeum5dgguD7bHbVlEsFEby4CMKAMMeWcoH38YTZ5of9RESv
DwmcRK8RWx25i0f7Wc5LZjmhFN0UxLGN5SfLVBsZ5zdVTstqElA3iN1WEWjFaY2h
lhaWK66FHcGFFFDFR3YaNw/poOI0Qeh6ppxsuV2RRUgDTynlTa2oeO9a1sOckZ5I
4+NeVnyjwdazapKHbUGLSDl/A+Rt+G2VhkOQ0wlAv+KckO8K1r4SvoGyOqjaJRb1
krYQMCNapmppw+QiZ3Fvh2uvkywGJfaG/fnv4eLT0d2d1z8JmpDrtWCuAEHuvl0M
qidEG2VbpGJPav02ISpZ2aLAfp17+3RuKJj/hgjt/zPcuN5TdL9bzfePG0rub9v0
xe/4H7XrZNePwK//BGxCN4PQvpkW5SOufPplbU+5IEO3SqpwiesHfZX7WpQXNphV
O+aPtv8AjbCG+g==

Скопировать

Виды парсеров по сферам применения

Для организаторов СП (совместных покупок)

Есть специализированные парсеры для организаторов совместных покупок (СП). Их устанавливают на свои сайты производители товаров (например, одежды). И любой желающий может прямо на сайте воспользоваться парсером и выгрузить весь ассортимент.

Чем удобны эти парсеры:

• интуитивно понятный интерфейс;
• возможность выгружать отдельные товары, разделы или весь каталог;
• можно выгружать данные в удобном формате. Например, в Облачном парсере доступно большое количество форматов выгрузки, кроме стандартных XLSX и CSV: адаптированный прайс для Tiu.ru, выгрузка для Яндекс.Маркета и т. д.

Популярные парсеры для СП:

• SPparser.ru,
• Облачный парсер,
• Турбо.Парсер,
• PARSER.PLUS,
• Q-Parser.

Вот три таких инструмента:

• Marketparser,
• Xmldatafeed,
• ALL RIVAL.

Парсеры для быстрого наполнения сайтов

Такие сервисы собирают названия товаров, описания, цены, изображения и другие данные с сайтов-доноров. Затем выгружают их в файл или сразу загружают на ваш сайт. Это существенно ускоряет работу по наполнению сайта и экономят массу времени, которое вы потратили бы на ручное наполнение.

В подобных парсерах можно автоматически добавлять свою наценку (например, если вы парсите данные с сайта поставщика с оптовыми ценами). Также можно настраивать автоматический сбор или обновление данных по расписания.

Примеры таких парсеров:

• Catalogloader,
• Xmldatafeed,
• Диггернаут.

static defaultConf#

static defaultConf ={

version’0.0.1′,

results{

flat

‘title’,’Title’,

,

arrays{

}

},

results_format»Title: $title\n»,

exampleKey’value’,

};

Скопировать

Конфигурация парсера по умолчанию, конфиг будет доступен в объекте класса через свойство , обязательными являются следующие поля:

• — описывает в декларативном стиле результаты, которые может возвращать данный парсер

• — задает формат результата по умолчанию

Все остальные поля являются опциональными, существует следующий список параметров, которые влияют на работу парсера:

async parse(set, results)#

Метод реализует основную логику обработки запроса и получения результата парсинга, в качестве аргументов передаются:

• — объект с информацией о запросе:
  • — текстовая строка запроса
  • — уровень запроса, по умолчанию
• — объект с результатами, которые необходимо заполнить и вернуть из метода parse()
  • парсер должен проверять наличие каждого ключа в объекте results и заполнять его только при наличии, таким образом оптимизируется скорость и парсятся только те данные, которые используются в формировании результата
  • содержит ключи необходимых flat переменных со значением , по умолчанию это означает что результат не получен, а также ключи переменных-массивов(arrays) со значением в виде пустого массива, готового для заполнения
  • должен устанавливаться в значение при успешной обработке запроса, по умолчанию значение , означающее что запрос обработан с ошибкой

Разберем на примере:

classJS_HTML_TagsextendsBaseParser{

static defaultConf ={

results{

flat

‘title’,’Title’,

,

arrays{

h2’H2 Headers List’,

‘header’,’Header’,

,

}

},

…

};

asyncparse(set, results){

const{success, data, headers}=awaitthis.request(‘GET’,set.query);

if(success &&typeof data ==’string’){

let matches;

if(results.title&& matches = data.match(<title*>(.*?)<\/title>))

results.title= matches1;

if(results.h2){

let count =;

const re =<h2*>(.*?)<\/h2>g;

while(matches = re.exec(data)){

results.h2.push(matches1);

}

}

results.success=1;

}

return results;

}

};

Скопировать

Обратите внимание что вы можете создавать собственные функции и методы для лучшей организации кода:

functionAnswer(){

return42;

}

classJS_HTML_TagsextendsBaseParser{

…

asyncparse(set, results){

results =awaitthis.doWork(set, results);

return results;

}

asyncdoWork(set, results){

results.answer=Answer();

return results;

}

};

Скопировать

Парсите HTML теги

Если случилось чудо и у сайта нет ни официального API, ни вкусных XHR запросов, ни жирного JSON внизу HTML, если рендеринг браузерами вам тоже не помог, то остается последний, самый нудный и неблагодарный метод. Да, это взять и начать парсить HTML разметку страницы. То есть, например, из достать ссылку. Это можно делать как простыми регулярными выражениями, так и через более умные инструменты (в питоне это BeautifulSoup4 и Scrapy) и фильтры (XPath, CSS-selectors).

Мой единственный совет: постараться минимизировать число фильтров и условий, чтобы меньше переобучаться на текущей структуре HTML страницы, которая может измениться в следующем A/B тесте.

Проблема урлов картинок и ссылок

Как вам должно быть известно, существуют абсолютные пути и относительные. Пример: ссылка http://site.ru/folder/subfolder/page.html — абсолютная, а ссылка folder/subfolder/page.html — относительная.

Учтите, что то, куда ведет относительная ссылка, зависит от той страницы, где она расположена. Давайте разберемся более подробнее.

Пример: мы парсим страницу сайта, url страницы http://site.ru/folder/subfolder/index.html.

На этой странице расположена картинка src=»https://steptosleep.ru/wp-content/uploads/2018/06/77270.png». В этом случае реальный абсолютный путь к картинке такой: http://site.ru/folder/subfolder/image.png. Давайте разберем все возможные варианты.

Пусть url страницы http://site.ru/folder/subfolder/index.html. На этой странице расположена картинка src=»https://steptosleep.ru/wp-content/uploads/2018/06/75516.png» — с начальным слешем (эта ссылка тоже абсолютная, только без http в начале). В этом случае реальный абсолютный путь к картинке такой: http://site.ru/image.png.

Пусть url страницы http://site.ru/folder/subfolder/index.html. На этой странице расположена картинка src=»https://steptosleep.ru/wp-content/uploads/2018/06/59157.png».

В этом случае реальный абсолютный путь к картинке такой: http://site.ru/folder/subfolder/images/image.png.

Пусть url страницы http://site.ru/folder/subfolder/index.html. На этой странице расположена картинка src=»https://steptosleep.ru/wp-content/uploads/2018/06/45053.png». В этом случае реальный абсолютный путь к картинке такой: http://site.ru/images/image.png.

Пусть url страницы http://site.ru/folder/subfolder/index.html. На этой странице расположена картинка src=»https://steptosleep.ru/wp-content/uploads/2018/06/7676.png». В этом случае реальный абсолютный путь к картинке такой: http://site.ru/folder/image.png, так как конструкция ../ поднимает нас на папку выше.

Пусть url страницы http://site.ru/folder/subfolder/index.html. На этой странице расположена картинка src=»https://steptosleep.ru/wp-content/uploads/2018/06/41032.png». В этом случае реальный абсолютный путь к картинке такой: http://site.ru/image.png, так как конструкция ../../ поднимает нас на две папки выше.

Пусть url страницы http://site.ru/folder/subfolder/index.html. На этой странице расположена картинка src=»https://steptosleep.ru/wp-content/uploads/2018/06/80277.png». В этом случае реальный абсолютный путь к картинке такой: http://site.ru/folder/image.png, так как конструкция ../ поднимает нас на две папки выше.

Думаю, вам понятно, что в данном случае разницы между картинками и ссылками никакой нет — все пути строятся одинаково. То же самое относится к путям к CSS файлам, если они вам вдруг понадобятся (всякое бывает).

В общем, я думаю, общая логика ясна.

Парсеры поисковых систем#

Обзор парера картинок DuckDuckGo Images#

Парсер изображений поисковой выдачи DuckDuckGo. Благодаря парсеру SE::DuckDuckGo::Images вы сможете получать базы ссылок изображений или изображений, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку DuckDuckGo

Функционал A-Parser позволяет сохранять настройки парсинга парсера DuckDuckGo для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

URL картинок

Для того чтобы добавить изображение, необходимо прописать тег и и внутри атрибута прописать путь к файлу.

Зная это мы с легкостью может сделать обратное, нам нужно достать из тега значение этого атрибута.

Важный момент:

• Пути к файлу бывают 2 видов. Абсолютный и относительный.
• Абсолютный путь имеет вид – http://prog-time.ru/wp-content/uploads/2018/10/SHpargalka-po-git-720×414.jpg. Такой путь путь имеет протокол и является полным, начинающимся от корня сайта.
• Относительный путь имеет вид – /uploads/2018/10/SHpargalka-po-git-720×414.jpg . Относительный путь имеет только часть адреса, который может быть написан по разному.

Основные правила написания относительного пути:

Если мы находимся на странице http://prog-time.ru/wp-content/uploads/2018/10/index.php и хотим забрать картинку с адресом img.png. Полный адрес к изображению будет http://prog-time.ru/wp-content/uploads/2018/10/img.png

Если мы находимся на странице http://prog-time.ru/wp-content/uploads/2018/10/index.php и хотим забрать картинку с адресом /img.png. Полный адрес к изображению будет http://prog-time.ru/img.png. Знак слеша в адресе означает что путь начинается от корневой директории.

Если мы находимся на странице http://prog-time.ru/wp-content/uploads/2018/10/index.php и хотим забрать картинку с адресом images/img.png. Полный адрес к изображению будет http://prog-time.ru/wp-content/uploads/2018/10/images/img.png.

Если мы находимся на странице http://prog-time.ru/wp-content/uploads/2018/10/index.php и хотим забрать картинку с адресом ../img.png. Полный адрес к изображению будет http://prog-time.ru/wp-content/uploads/2018/10/img.png . Если бы не было двух точек и слеша, путь был бы такой http://prog-time.ru/wp-content/uploads/2018/10/img.png , но если их поставить, то они поднимают нас на папку выше и путь становится таким http://prog-time.ru/wp-content/uploads/2018/10/img.png .

Парсите страницы сайтов в структуры данных

Что такое Диггернаут и что такое диггер?

Диггернаут — это облачный сервис для парсинга сайтов, сбора информации и других ETL (Extract, Transform, Load) задач. Если ваш бизнес лежит в плоскости торговли и ваш поставщик не предоставляет вам данные в нужном вам формате, например в csv или excel, мы можем вам помочь избежать ручной работы, сэкономив ваши время и деньги!

Все, что вам нужно сделать — создать парсер (диггер), крошечного робота, который будет парсить сайты по вашему запросу, извлекать данные, нормализовать и обрабатывать их, сохранять массивы данных в облаке, откуда вы сможете скачать их в любом из доступных форматов (например, CSV, XML, XLSX, JSON) или забрать в автоматическом режиме через наш API.

Какую информацию может добывать Диггернаут?

• Цены и другую информацию о товарах, отзывы и рейтинги с сайтов ритейлеров.
• Данные о различных событиях по всему миру.
• Новости и заголовки с сайтов различных новостных агентств и агрегаторов.
• Данные для статистических исследований из различных источников.
• Открытые данные из государственных и муниципальных источников. Полицейские сводки, документы по судопроизводству, росреест, госзакупки и другие.
• Лицензии и разрешения, выданные государственными структурами.
• Мнения людей и их комментарии по определенной проблематике на форумах и в соцсетях.
• Информация, помогающая в оценке недвижимости.
• Или что-то иное, что можно добыть с помощью парсинга.

Должен ли я быть экспертом в программировании?

Если вы никогда не сталкивались с программированием, вы можете использовать наш специальный инструмент для построения конфигурации парсера (диггера) — Excavator. Он имеет графическую оболочку и позволяет работать с сервисом людям, не имеющих теоретических познаний в программировании. Вам нужно лишь выделить данные, которые нужно забрать и разместить их в структуре данных, которую создаст для вас парсер. Для более простого освоения этого инструмента, мы создали серию видео уроков, с которыми вы можете ознакомиться в документации.

Если вы программист или веб-разработчик, знаете что такое HTML/CSS и готовы к изучению нового, для вас мы приготовили мета-язык, освоив который вы сможете решать очень сложные задачи, которые невозможно решить с помощью конфигуратора Excavator. Вы можете ознакомиться с документацией, которую мы снабдили примерами из реальной жизни для простого и быстрого понимания материала.

Если вы не хотите тратить свое время на освоение конфигуратора Excavator или мета-языка и хотите просто получать данные, обратитесь к нам и мы создадим для вас парсер в кратчайшие сроки.

Похожие записи:

Как по-новому работать с блогерами? Dissercat Как придумать надежный пароль Чем оао отличается от ао? основные характеристики Открыть счет в банке для ип тарифы Как стать эффективным переговорщиком: 28 правил