Парсинг цен на строительные материалы
О проекте
Бизнес-эффект
Получена база данных с ценами. Используется для получения актуальных и исторических данных, динамики цен, а также для построения прогноза изменений цен
Решение
Внедрение функционала , который позволяет производить мониторинг цен на строительные материалы в автономном режиме
Задача
Необходимо собирать данные о ценах на строительные материалы с известных строительных магазинов в течение заданного отрезка времени
Технологии
Airflow
PostgreSQL
PostgreSQL — это популярная свободная объектно-реляционная система управления базами данных. PostgreSQL базируется на языке SQL и поддерживает многочисленные возможности.
Это набор библиотек для разработки, планирования и мониторинга рабочих процессов. Для описания (разработки) процессов используется код на языке Python.
Python
Python — самый быстрорастущий язык программирования за последние несколько лет. С помощью фреймворков, библиотек и расширений, есть возможность реализовать такие задачи, как парсинг цен.
Docker
Платформа для разработки, доставки и запуска контейнерных приложений. Docker - инструмент, в котором есть библиотеки и программы, необходимые для запуска и работы функционала
Для разработки этого продукта были использованы все вышеописанные технологии. Вначале работы был согласован план и задание конечной формы хранения данных. Данные о ценах брались из нескольких сайтов и под каждый сайт была произведена индивидуальная разработка парсера. Для удобного отображения необходимых данных все парсеры слиты в один интерфейс.
Команда проекта


Разработчик
Александр Х.
Разработчик
Николай Д.
Сферы использования сервиса
Данную технологию можно применить для того, чтобы собирать информацию из интернета в автономном режиме. Это будет полезно компаниям, которым необходимо производить мониторинг цен, характеристик тваров и услуг.
Нажимая на кнопку "Отправить запрос" , вы соглашаетесь на обработку персональных данных
Отправьте нам запрос
После получения Вашего запроса мы свяжемся с Вами как можно скорее