26 февраля, пятница 12:35
Bankir.Ru

Объявление

Свернуть
Пока нет объявлений.

Оценка качества новой скоринговой модели

Свернуть
X
  • Фильтр
  • Время
  • Показать
Очистить всё
новые сообщения

  • Оценка качества новой скоринговой модели

    Есть финансовая организация, которая выдает кредиты розничным клиентам.
    До начала 2013 года действовала некая скоринговая модель (допустим, 2 года), на основе которой принималось решение - выдавать или отказать.
    В начале 2013 года по некоторым причинам скоринговая модель поменялась. На текущий момент, допустим, что по новой модели работа идет 6 месяцев, объем кредитов в количественном выражении возрос.

    Стоит задача каким-либо образом попробовать оценить качество новой скоринговой модели.
    В поисках возможного решения я натолкнулся на данную статью - Empirical Validation of Retail Credit-Scoring Models.

    Не совсем понятны некоторые вопросы:
    1. Возможно ли в принципе как-то корректно оценить качество новой скоринговой модели, использую статистические методы, на таком коротком промежутке жизни портфелей?
    На первом этапе, на сколько я понял, в статье используют расчет и сравнение распределения и индексов, без учета качества одобренных заявок.

    2. Корректен ли расчет статистики Gini и K-S при условиях задачи и над какими выборками нужно делать сравнение?
    В приведенной статье как раз фигурируют выборки Development и Current, но не совсем понятно, что в них входит.

    3. Figure 4 из статьи также вызвал затруднение, как по-русски называется данная оценка и что она показывает?

    3. Каким образом Вы бы решили данную задачу (если ее вообще можно решить, достаточно проведения 2-3 статистических оценок) и на основе каких исходных данных?

    Буду очень благодарен, если Вы поможете мне разобраться с данным вопросом.

  • #2
    коллега, у Вас на руках на руках уникальный материал. 2 года!!!!!!! проанализируйте невозвраты и проблемников по М/Ж, образование, возраст, отрасль, семейное положение, имущество. а потом, прогоните новых клиентов по старой методике и старых по новой. вот Вам и ответ, нафига какую то фигню "- Empirical Validation of Retail Credit-Scoring Models) еще приплетать ?

    Комментарий


    • #3
      Одним из важнейших показателей эффективности скоринговой карты является не только ее прогностическая точность, но и отсутствие значительных изменений в профиле аппликанта на протяжении ее построения. Если построение скоринговой карты длится достаточно долго, в кредитном портфеле могут произойти значимые изменения. Поскольку такие изменения не отражаются в исходных данных, которые были использованы для разработки скоринговой карты (обучающая выборка), то необходимо убедиться в том, что качество скоринговой карты не изменилось. А если изменилось, то необходимо учесть такие отклонения. Для решения этих задач проводится фронт-энд валидация.
      В ходе фронт-энд валидации используется новая скоринговая карта и сравнивается распределение аппликантов в текущей выборке (фактический входящий поток) с распределением аппликантов в обучающей выборке (ожидаемое распределение). Обычно выполняется скоринг последних клиентов. Однако хорошей практикой является последовательный анализ по нескольким последним периодам времени (последний месяц, последние три месяца, последние шесть месяцев и т.д.), чтобы обнаружить любые появляющиеся тренды или подтвердить предположение о том, что изменения, выявленные за отдельно взятый месяц, не являются долгосрочным трендом.
      Обычно для этого подготавливают отчеты «Стабильность системы» и «Анализ характеристик». Ключевой показатель в первом отчете - индекс стабильности популяции (PSI).
      Индекс вычисляется следующим образом:
      ∑(% Текущие – % Ожидаемые ) x ln ( % Текущие / % Ожидаемые )
      Индекс меньше 0.10 показывает отсутствие значимых изменений, индекс 0.10–0.25 говорит о незначительных изменениях, которые необходимо исследовать, индекс выше 0.25 свидетельствует о значительных смещениях.
      Другие методы, такие, как хи-квадрат с заданным уровнем доверия могут также использоваться для оценки смещения. Метод, приведенный на рисунке 8.1, широко используется в бизнесе.
      Дополнительный способ выявить причины смещений – построить график распределения текущих и ожидаемых аппликантов по скоринговым баллам.
      KS по обучающей и текущей считают. по скорбаллу и по характеристикам.
      ну и святое - ROC-анализ. Gini идет тут как следствие, зная AUC, знаем и Gini
      Как один из способов коррекции смещения - взять среднее значение характеристики по одной выборке, затем по другой, получить отношение и умножить его на коэффициент перед характеристикой. да много способов, тут по ситуации надо смотреть
      Последний раз редактировалось Gewissta; 18.09.2013, 19:55.
      http://www.slideshare.net/Gewissta

      Комментарий


      • #4
        Сообщение от rozay Посмотреть сообщение
        Стоит задача каким-либо образом попробовать оценить качество новой скоринговой модели.
        Стоит вопрос оценки качества работы модели, которая работает с начала 2013 года? Или уже третьей - вновь построенной модели?

        Если модели, которая была запущена с начала 2013, то смотрите ранние просрочки и винтажи. Если прогноз по ним укладывается в заданные показатели, то уже хорошо.

        Если же оцениваете совсем новую, то предыдущий пост Вам в помощь

        Комментарий


        • #5
          День добрый!
          Возможно кто-либо работает со скорингом FICO . Меня интересует значение баллов для принятия решения по заявке. А именно по видам скоринга:FICO Fraud, FICO Account origination, FICO Expansion.

          Комментарий

          Обработка...
          X