Парсинг цен на строительные материалы

О проекте

Бизнес эффект
Получена база данных с ценами. Используется для получения актуальных и исторических данных, динамики цен, а также для построения прогноза изменений цен
О проекте
Решение
Внедрение функционала, который позволяет производить мониторинг цен на строительные материалы в автономном режиме
Задача
Необходимо собирать данные о ценах на строительные материалы с известных строительных магазинов в течение заданного отрезка времени
Технологии
Airflow
PostgreSQL
Airflow
PostgreSQL
PostgreSQL — это популярная свободная объектно-реляционная система управления базами данных. PostgreSQL базируется на языке SQL и поддерживает многочисленные возможности.
Python
Это набор библиотек для разработки, планирования и мониторинга рабочих процессов. Для описания (разработки) процессов используется код на языке Python.
Python
Python — самый быстрорастущий язык программирования за последние несколько лет. С помощью фреймворков, библиотек и расширений, есть возможность реализовать такие задачи, как парсинг цен.
Docker
Docker
Платформа для разработки, доставки и запуска контейнерных приложений. Docker - инструмент, в котором есть библиотеки и программы, необходимые для запуска и работы функционала
Для разработки этого продукта были использованы все вышеописанные технологии. Вначале работы был согласован план и задание конечной формы хранения данных. Данные о ценах брались из нескольких сайтов и под каждый сайт была произведена индивидуальная разработка парсера. Для удобного отображения необходимых данных все парсеры слиты в один интерфейс.
Команда проекта


Разработчик
Александр Х.
Разработчик
Николай Д.
Сферы использования
Данную технологию можно применить для того, чтобы собирать информацию из интернета в автономном режиме. Это будет полезно компаниям, которым необходимо производить мониторинг цен, характеристик товаров и услуг.
Мы на связи
Мы на связи!
Напишите нам для сотрудничества или если у вас возникли вопросы.