Парсинг цен на строительные материалы
О проекте
Получена база данных с ценами. Используется для получения актуальных и исторических данных, динамики цен, а также для построения прогноза изменений цен
Необходимо собирать данные о ценах на строительные материалы с известных строительных магазинов в течение заданного отрезка времени
Задача
Бизнес эффект
Внедрение функционала, который позволяет производить мониторинг цен на строительные материалы в автономном режиме
Решение
Технологии
Платформа для разработки, доставки и запуска контейнерных приложений. Docker — инструмент, в котором есть библиотеки и программы, необходимые для запуска и работы функционала
Docker
Python — самый быстрорастущий язык программирования за последние несколько лет. С помощью фреймворков, библиотек и расширений, есть возможность реализовать такие задачи, как парсинг цен.
Python
Это набор библиотек для разработки, планирования и мониторинга рабочих процессов. Для описания (разработки) процессов используется код на языке Python.
PostgreSQL — это популярная свободная объектно-реляционная система управления базами данных. PostgreSQL базируется на языке SQL и поддерживает многочисленные возможности.
PostgreSQL
Airflow
Для разработки этого продукта были использованы все вышеописанные технологии. Вначале работы был согласован план и задание конечной формы хранения данных. Данные о ценах брались из нескольких сайтов и под каждый сайт была произведена индивидуальная разработка парсера. Для удобного отображения необходимых данных все парсеры слиты в один интерфейс.
Команда проекта
Николай Д.
Разработчик
Александр Х.
Разработчик
Сферы использования
Данную технологию можно применить для того, чтобы собирать информацию из интернета в автономном режиме. Это будет полезно компаниям, которым необходимо производить мониторинг цен, характеристик товаров и услуг.
