Оценка качества новой скоринговой модели

[rozay]

Есть финансовая организация, которая выдает кредиты розничным клиентам.
До начала 2013 года действовала некая скоринговая модель (допустим, 2 года), на основе которой принималось решение - выдавать или отказать.
В начале 2013 года по некоторым причинам скоринговая модель поменялась. На текущий момент, допустим, что по новой модели работа идет 6 месяцев, объем кредитов в количественном выражении возрос.

Стоит задача каким-либо образом попробовать оценить качество новой скоринговой модели.
В поисках возможного решения я натолкнулся на данную статью - Empirical Validation of Retail Credit-Scoring Models.

Не совсем понятны некоторые вопросы:
1. Возможно ли в принципе как-то корректно оценить качество новой скоринговой модели, использую статистические методы, на таком коротком промежутке жизни портфелей?
На первом этапе, на сколько я понял, в статье используют расчет и сравнение распределения и индексов, без учета качества одобренных заявок.

2. Корректен ли расчет статистики Gini и K-S при условиях задачи и над какими выборками нужно делать сравнение?
В приведенной статье как раз фигурируют выборки Development и Current, но не совсем понятно, что в них входит.

3. Figure 4 из статьи также вызвал затруднение, как по-русски называется данная оценка и что она показывает?

3. Каким образом Вы бы решили данную задачу (если ее вообще можно решить, достаточно проведения 2-3 статистических оценок) и на основе каких исходных данных?

Буду очень благодарен, если Вы поможете мне разобраться с данным вопросом.

[Т-34]

коллега, у Вас на руках на руках уникальный материал. 2 года!!!!!!! проанализируйте невозвраты и проблемников по М/Ж, образование, возраст, отрасль, семейное положение, имущество. а потом, прогоните новых клиентов по старой методике и старых по новой. вот Вам и ответ, нафига какую то фигню "- Empirical Validation of Retail Credit-Scoring Models) еще приплетать ?

[Gewissta]

Одним из важнейших показателей эффективности скоринговой карты является не только ее прогностическая точность, но и отсутствие значительных изменений в профиле аппликанта на протяжении ее построения. Если построение скоринговой карты длится достаточно долго, в кредитном портфеле могут произойти значимые изменения. Поскольку такие изменения не отражаются в исходных данных, которые были использованы для разработки скоринговой карты (обучающая выборка), то необходимо убедиться в том, что качество скоринговой карты не изменилось. А если изменилось, то необходимо учесть такие отклонения. Для решения этих задач проводится фронт-энд валидация.
В ходе фронт-энд валидации используется новая скоринговая карта и сравнивается распределение аппликантов в текущей выборке (фактический входящий поток) с распределением аппликантов в обучающей выборке (ожидаемое распределение). Обычно выполняется скоринг последних клиентов. Однако хорошей практикой является последовательный анализ по нескольким последним периодам времени (последний месяц, последние три месяца, последние шесть месяцев и т.д.), чтобы обнаружить любые появляющиеся тренды или подтвердить предположение о том, что изменения, выявленные за отдельно взятый месяц, не являются долгосрочным трендом.
Обычно для этого подготавливают отчеты «Стабильность системы» и «Анализ характеристик». Ключевой показатель в первом отчете - индекс стабильности популяции (PSI).
Индекс вычисляется следующим образом:
∑(% Текущие – % Ожидаемые ) x ln ( % Текущие / % Ожидаемые )
Индекс меньше 0.10 показывает отсутствие значимых изменений, индекс 0.10–0.25 говорит о незначительных изменениях, которые необходимо исследовать, индекс выше 0.25 свидетельствует о значительных смещениях.
Другие методы, такие, как хи-квадрат с заданным уровнем доверия могут также использоваться для оценки смещения. Метод, приведенный на рисунке 8.1, широко используется в бизнесе.
Дополнительный способ выявить причины смещений – построить график распределения текущих и ожидаемых аппликантов по скоринговым баллам.
KS по обучающей и текущей считают. по скорбаллу и по характеристикам.
ну и святое - ROC-анализ. Gini идет тут как следствие, зная AUC, знаем и Gini
Как один из способов коррекции смещения - взять среднее значение характеристики по одной выборке, затем по другой, получить отношение и умножить его на коэффициент перед характеристикой. да много способов, тут по ситуации надо смотреть

[Oren_Spartach]

Стоит задача каким-либо образом попробовать оценить качество новой скоринговой модели.

Стоит вопрос оценки качества работы модели, которая работает с начала 2013 года? Или уже третьей - вновь построенной модели?

Если модели, которая была запущена с начала 2013, то смотрите ранние просрочки и винтажи. Если прогноз по ним укладывается в заданные показатели, то уже хорошо.

Если же оцениваете совсем новую, то предыдущий пост Вам в помощь

[Фариза]

День добрый!
Возможно кто-либо работает со скорингом FICO . Меня интересует значение баллов для принятия решения по заявке. А именно по видам скоринга:FICO Fraud, FICO Account origination, FICO Expansion.