Top.Mail.Ru
хакатоны.рус - открой с нами мир хакатонов

Соревнование по структуризации чеков ОФД

DS/ML/AI Регистрация закрыта
Соревнование по структуризации чеков ОФД

Примите участие в первом DataScience-соревновании от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение

Перед тем, как участвовать в соревновании, приглашаем вас в трек “NLP in practice”, где вы сможете подробно разобрать все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике.

Задача
Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.

В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией1 брендов и товаров.

Данные
Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:

  1. В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.
  2. В неразмеченном датасете даны только сами чековые позиции.

Подробное описание файлов и полей датасета соревнования можно найти во вкладке Данные.

Метрика соревнования
Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:

  • Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)
  • Recall - доля сущностей в ответах, которые выделила модель

После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)

Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по ссылке (раздел CoNLL).

Этапы соревнования
1.CSV-соревнование (вы находитесь здесь).
  • Сроки проведения: 2 июня 17:00 - 1 июля 23:59
  • Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте "Проверка решения"
  • В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования

2.Docker-соревнование.
  • Сроки проведения: 2 июля 12:00 - 15 июля 23:59
  • Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте "Проверка решения"
  • Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59 отправить в соревнование Docker-контейнер с кодом решения этапа 1. Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы.
  • В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования

3.Доразметка.
  • Сроки проведения: 16 июля 12:00 - 23 июля 23:59
  • Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в telegram.
  • Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.

4.Docker-соревнование.
  • Сроки проведения: 24 июля 12:00 - 6 августа 23:59
  • На данном этапе разрешается использовать доразметку полученную на этапе 3
  • Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте "Проверка решения"
  • Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз

Проверка решения
Этап 1
Решения принимаются в виде csv-файла с тремя колонками: "id" - уникальный идентификтор, "brand" - бренды содержащиеся в данной чековой позиции, и "good" - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.

Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров можно найти во вкладке Таблица лидеров.

Этапы 2 и 4
Решения принимаются в виде zip-архива, имеющего структуру:
  • metadata.json
  • user_file_1
  • user_file_2
  • user_file_n

В файле metadata.json должны быть два поля:
  • image - публичный образ в DockerHub, например “xterrafunny/baseline-nlp-in-practice:latest”
  • entry_point - команда для запуска в контейнере, например “python run.py”

Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются два аргумента: первый содержит путь к тестовой выборке, второй содержит путь для сохранения предсказаний модели

Ресурсы для образа:
  • 8 vCPU
  • 96Gb RAM
  • Nvidia V100

Предсказания модели должны представлять собой csv-файл с тремя колонками: "id" - уникальный идентификтор, "brand" - бренды содержащиеся в данной чековой позиции, и "good" - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.

Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.

Использование внешней разметки
Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.

Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)

Объединение в команды
В соревновании разрешено объединение участников в команды до 3 человек. Возможность объединения в команды закрывается 24 июня в 23:59.

Базовые решения и полезные функции
Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по ссылке.

Призовой фонд
Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4

  • 1 место – 450 000 рублей
  • 2 место – 250 000 рублей
  • 3 место – 100 000 рублей

Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.

Регистрация до 1 июля:

Хочешь узнавать о новых хакатонах, соревнованиях первым?
Подписывайся на наши социальные сети:
Также, подписывайся на наш Telegram-бот, где мы присылаем хакатоны, соревнования по параметрам, которые интересны тебе: