Семинар ИАПР: Оценка эффективности адвокатской деятельности на основе анализа текстов судебных решений: методология и апробация

13 марта состоялся очередной  научный семинар

Sebastian Pichler

С докладом выступил директор МЦИИР и ИАПР А.Казун.  Соавторы доклада  Девятников В. (НИУ ВШЭ) и М. Белов (UCLA) присоединились к оживленной дискуссии после выступления.

Аннотация:

Адвокатские услуги, как правило, относят к категории доверительных благ, что означает сложность измерения их качества. Участникам судебного процесса при выборе защитника приходится полагаться почти исключительно на репутацию, знакомства или отзывы. На настоящий момент в России не существует объективных метрик, которые позволяли бы оценивать эффективность работы адвоката. Причиной отсутствия объективных оценок является сложность адвокатской работы и влияние на исход дела большого перечня легальных и экстралегальных факторов. В настоящем докладе мы предложим подход, позволяющий оценивать эффективность работы адвоката на основе анализа текстов судебных приговоров. В докладе будет представлен первый вариант методологии, а также проведена апробация полученных результатов.

На первом этапе анализа мы предсказываем исходы судебных дел по примерно 100 тыс. кейсам о ДТП (264 ст. УК РФ за период с 2010 по 2022 гг.), используя информацию о различных характеристиках дела, но не включая в модели информацию об адвокате. Тестируется и сравнивается три предсказательных модели – линейная регрессия, Random Forest, XGBoost. На втором этапе на основе результатов наилучшей из моделей строится рейтинг адвокатов. На третьем этапе мы тестируем получившиеся результаты, показывая, что адвокаты, имеющие высокий рейтинг в одной категории исходов, при прочих равных показывают более высокие результаты и в других категориях исходов и типах дел, не использовавшихся для создания рейтинга. Таким образом, предложенная методика действительно позволяет зафиксировать реальные различия в эффективности адвокатов.