СТАТЬИ И ПУБЛИКАЦИИ

Вход или Регистрация

ПОМОЩЬ В ПАТЕНТОВАНИИ НАУЧНО-ТЕХНИЧЕСКИЙ ФОРУМ Научно-техническая библиотекаНаучно-техническая библиотека SciTecLibrary
 
Cтатьи и Публикации УСЛОВИЯ ПОЛЕЗНОСТИ ДИАГНОСТИЧЕСКИХ ТЕСТОВ С ПОЗИЦИИ ТЕОРИИ СТАТИСТИЧЕСКИХ РЕШЕНИЙ

УСЛОВИЯ ПОЛЕЗНОСТИ ДИАГНОСТИЧЕСКИХ ТЕСТОВ С ПОЗИЦИИ ТЕОРИИ СТАТИСТИЧЕСКИХ РЕШЕНИЙ

УДК 658.012.011 

Опубликовано: Проблемы управления и информатике, 2003, № 2, с. 100-111. 

© Леонид Соломонович Файнзильберг, к.т.н.

Контакт с автором: fainzilberg@svitonline.com 


Развивается подход к оценке полезности диагностических признаков (тестов) с точки зрения уменьшения априорного риска. Доказаны утверждения, гарантирующие полезность диагностического теста и отдельного признака. Получены оценки сверху допустимых значений вероятностей ошибок пропуска цели и ложной тревоги. Показано, что совокупность бесполезных в отдельности признаков может быть полезна даже при их статистической независимости в классах. 

Введение. Одним из центральных вопросов распознавания образов и диагностики состояния объектов различной физической природы является выбор эффективной системы признаков [1-4]. Существуют различные подходы к оценке диагностической ценности признаков. Так, согласно, [5, 6] признак считается информативным, если он снижает априорную неопределенность по Шеннону относительно распознаваемых классов. Легко показать, что такой критерий эквивалентен критерию релевантности [7], основанному на различии условных распределений признака в классах. По сути дела именно такой подход получил широкую известность для оценки эффективности диагностических тестов на основе ROC-анализа (receiver operating characteristic curve) [8-11].

В то же время в работах [12,13] было показано, что один лишь факт различия условных распределений признака в классах является необходимым, но не достаточным условием его полезности с точки зрения уменьшения средней вероятности ошибочных решений.

Между тем известно [14], что средняя вероятность ошибочных решений является лишь частным случаем среднего риска, и не учитывает соотношения потерь от ошибок различного рода. Поскольку для задач медицинской и технической диагностики потери от ошибок пропуска цели и ложной тревоги чаще всего не равнозначны, актуальным является получение условий, гарантирующих полезность как отдельных признаков, так и диагностического теста в целом с точки зрения уменьшения среднего риска.

В настоящей работе приведено исследование данного вопроса.

Постановка задачи. Пусть некоторый объект Z находится в одном из двух возможных состояний V1 , V2 с априорными вероятностями P(V1) и P(V2) = 1 - P(V1). Имеется алгоритм (диагностический тест), который на основании измерения доступной информации принимает решения

(1)

Предполагается, что помимо правильных решений, алгоритм может ошибаться, т.е. допускать как ошибки пропуска цели, так и ложной тревоги, или, что то же самое, ошибки первого и второго рода [15]: 

Оценки вероятностей P(E1) и P(E2) могут быть получены путем проверки (“экзамена”) теста на некоторой представительной выборке наблюдений, для которых известны истинные состояния Z.

Будем, как это принято в теории статистических решений [16], характеризовать возможные потери платежной матрицей вида 

(2) 

в которой L11 и L22 – потери, связанные с правильными решениями, а L12 и L21 – потери, связанные с ошибками пропуска цели и ложной тревоги. Тогда математическое ожидание потерь (средний риск) определяет взвешенная сумма указанных потерь с учетом вероятностей их появления:

. (3)

где величина обозначает вероятность совместного выполнения двух случайных событий: Z находится в состоянии Vk ( k =1,2 ), а алгоритм принял решение d = j, отнеся его к классу Vj , j =1,2 .

Введем следующее определение.

Определение 1. Диагностический тест полезен, если средний риск R принимаемых на его основе решений, меньше риска R0 априорных решений, принимаемых по вероятностям P(V1) и P(V2): 

R < R0. (4) 

Ставится задача получить условия, гарантирующие выполнение строгого неравенства (4). 

Условия полезности диагностического теста. Введем обозначение

, (5)

полагая, что L12 > L11 и L21 > L22 . а значит . Такое предположение вполне логично, поскольку потери от ошибочных результатов всегда превышают потери от правильных решений. Заметим, что в частном случае, когда , величина просто определяет соотношение потерь от ошибок пропуска цели и ложной тревоги.

Утверждение 1. Диагностический тест полезен в смысле (4), в том и только в том случае, когда 

(6) 

прилибо 

(7) 

при .

Доказательство. По определению P(Vk,d =j)=P(Vk) P(d =j/Vk), а P(d =2/V1)=P(E1) и
P(d =1/V2) =P(E2), причем P(d =1/V1) =1- P(E1) и P(d =2/V2) = 1- P(E2) . Следовательно, согласно (3), при известных P(V1), P(E1), P(E2) и L средний риск решений (1) можно представить в эквивалентной форме записи

, (8) 

С другой стороны, если не использовать диагностический тест, то априорная “стратегия” решений о неизвестных состояниях Z сводится к выбору одного из двух вариантов: либо всегда считать, что и тогда риск будет равен L11 P(V1) + L21[1- P(V1)], либо всегда считать, что и тогда риск будет равен L22[1- P(V1)] + L12 P(V1).

Принимая во внимание обозначение (5) заключаем, что если выполняется условие 

, (9)

то с точки зрения минимума априорного риска лучше всегда принимать решение , а если выполняется условие 

(10) 

то лучшими оказываются решения.

Следовательно априорный риск R0, фигурирующий в правой части (4), можно представить в виде 

. (11) 

Подстановка (8) и (11) в (4) после простых преобразований приводит к условиям (6),(7). Утверждение доказано.

Из Утверждения 1 следует, что если не выполняются условия (6) или (7), то с точки зрения уменьшения априорного риска диагностический тест абсолютно бесполезен. Этот факт позволяет сформулировать еще два важных утверждения.

Утверждение 2. Пусть выполняется условие Тогда при сколь угодно малой вероятности ошибки пропуска цели диагностический тест заведомо бесполезен с точки зрения уменьшения априорного риска, если вероятность ошибки ложной тревоги удовлетворяет условию 

. (12)

Доказательство. Принимая во внимание, что , представим условие (6), гарантирующее полезность теста для области , в эквивалентной форме записи 

. (13)

Поскольку всегда , то усиление (13) путем подстановки приводит к оценке сверху допустимого значения вероятности ошибки ложной тревоги полезного теста

(14) 

для области .Отсюда непосредственно следует справедливость утверждения.

Утверждение 3. Пусть выполняется условие Тогда при любой сколь угодно малой вероятности ошибки ложной тревоги диагностический тест заведомо бесполезен с точки зрения уменьшения априорного риска, если вероятность ошибки пропуска цели удовлетворяет условию 

. (15)

Доказательство. Поскольку , то условие (7), гарантирующее полезность теста для области можно представить так 

. (16)

Если учесть, что всегда, то усиление (16) путем подстановки приводит к оценке сверху допустимого значения вероятности ошибки пропуска цели полезного теста

(17)

для области . Утверждение доказано.

Для иллюстрации на рис.1 и 2 показаны границы областей (12) и (15) при P(V1) < 0.1 для различных значениях w .

 

Условия полезности совокупности диагностических признаков. Любой алгоритм диагностики основан на измерении некоторой совокупности признаков , образующих N-мерное описание распознаваемых классов V1 и V2. В простейшем случае для диагностики используется только один признак (N = 1). Тогда, если известны вероятности ошибок пропуска цели и ложной тревоги, допускаемые этим признаком, априорная вероятность и значение величины , то полезность отдельного признака можно оценить на основе полученных выше условий.

Для оценки полезности признаков в совокупности (N > 1) введем следующее определение.

Определение 2. Диагностический признак полезен в совокупности с остальными N-1 признаками, если его исключение из описания приводит к увеличению среднего риска, т.е. 

, (18) 

где и - средний риск диагностики по описанию и сокращенному описанию , которое не содержит .

Рассмотрим условия, гарантирующие выполнение строгого неравенства (18) для бинарных признаков (симптомов), характерных для задач медицинской диагностики [17]. Пусть для диагностики некоторого заболевания используется симптом , который может отсутствовать (случайное событие ) или присутствовать (случайное событие ) у пациента Z.

Предположим, что симптом характерен для всех без исключения больных (класс V1) и только для части здоровых (класс V2). Формально это означает, что условные вероятности, удовлетворяют условиям

, . (19) 

Поскольку из (19) следует, что , то при значении признака (отсутствии симптома) следует однозначно принимать решение в пользу . Ясно, что в этом случае вероятность ошибочного отнесения больного к здоровым (вероятность ошибки пропуска цели) составит .

Предположим теперь, что вероятность удовлетворяет условию

. (20)

Легко видно, что для фиксированных значений и в областиусловие (20) не противоречит второму из ограничений (19). Если при принимать решение в пользу класса , другими словами считать Z больным при наличии у него симптома, то вероятность ошибочного отнесения здорового к больным (вероятность ошибки ложной тревоги) определяет . Однако, если , то при выполнении условия (20) в соответствии с Утверждением 2 признак заведомо бесполезен с точки зрения уменьшения априорного риска.

Для того, чтобы еще раз убедиться в этом, сравним условные риски возможных решений при . Риск решении равен 

а риск решении равен 

Если учесть, что, то с учетом обозначения (5) разность определяется соотношением 

, (21) 

из которого в силу (20) и того, что L21 > L22 следует, что . Но это означает то, что и при втором значении признака (наличии симптома) правомерно принимать решение . Таким образом, при любом возможном значении признака и принимается одно и то же решение в пользу класса , которое для фиксированных значений и в областисовпадает с априорным решением. Естественно, что такой признак-симптом сам по себе абсолютно бесполезен.

Предположим теперь, что в нашем распоряжении имеется два таких бесполезных признака. Возникает естественный вопрос: в каких случаях их совокупность может быть полезна с точки зрения Определения 3?

В работе [18] показано, что совокупность неинформативных в отдельности признаков может быть полезна, если они статистически связаны в классах. Покажем теперь, что совокупность бесполезных в отдельности признаков-симптомов может быть полезна и в том случае, когда такая связь отсутствует.

Этот факт в точных формулировках определяет следующее утверждение.

Утверждение 4. Пусть - два признака, каждый из которых принимает два возможных значения и , причем 

, (22) 

Пусть, кроме того, признаки статистически независимы в обоих классах, т.е.

. (23) 

Тогда для любых и , удовлетворяющих условию , существуют такие значения вероятностей , при которых каждый из этих признаков бесполезен сам по себе, но их совокупность полезна.

Доказательство. Предположим, что 

, (24)

где

. (25)

Как было показано ранее, в этом случае рассматриваемые признаки сами по себе бесполезны. Рассмотрим условные риски возможных решений при следующей комбинации значений признаков . Принимая во внимание (23) для такой комбинации риск решения равен 

, (26) 

а риск решения равен 

, (27) 

Поскольку при минимизация априорного риска приводит к решению , потребуем, чтобы для рассматриваемой комбинации с точки зрения минимизации условного риска оптимальным было противоположное решение, т.е. решение . Другими словами, потребуем, чтобы выполнялось строгое неравенство

На основании (26),(27) с учетом обозначения (25) последнее неравенство можно представить в виде 

. (28) 

С другой стороны, в соответствии с (24) 

. (29) 

Поскольку при для области величиналежит в пределах, то всегда найдутся такие значения вероятностей и, удовлетворяющие (24), при которых условия (28),(29) будут выполняться совместно. Утверждение доказано.

Для иллюстрации на рис. 3 в координатах и показана область значений, удовлетворяющих (28),(29).

Модельный пример. Пусть ,,,. Следовательно , а . Предположим, что имеются два статистически независимых в классах бинарных признака, условные распределения которых представлены в таблицах 1 и 2. 

Таблица 1

-

0

0

0

0

1

1

0

1

-

Таблица 2

-

0.49

0.21

0.7

0.21

0.09

0.3

0.7

0.3

-

Легко видно, что для обоих признаков выполняются условия (22),(24), а значит эти признаки сами по себе бесполезны. В этом легко убедиться, если сравнить условные риски возможных решений при различных значениях этих признаков. Так, например, для признака решение приводит к риску при и риску при , в то время как решение приводит к риску при и риску при . Следовательно и при наличии, и при отсутствии симптома с точки зрения минимума риска должны приниматься решения в пользу класса , которые при заданных и совпадают с априорными решениями. Аналогичная ситуация имеет место и для признака .

Вместе с тем, в условиях данного примера = 0.09, а значит для выполняется условие и совокупность признаков оказывается полезной. В самом деле, при обнаружении обоих симптомов, когда решение приводит к риску , тогда как решение приводит к большему риску . Следовательно, при такой комбинации признаков оптимальное решение не совпадает с априорным, что и обеспечивает уменьшение среднего риска.

Частный случай. Хорошо известно [14], что если матрица потерь (2) “антидиогональна”, т.е. , а , то средний риск равен средней вероятности ошибки, а оптимальные решения, обеспечивающие минимум этой вероятности, должны приниматься по правилу максимума апостериорных вероятностей.

Если при этом допустить, что в условиях Утверждения 4 вероятности наличия каждого из симптомов для объектов второго класса одинаковы, т.е. ==, то, как следует из доказательства, при выполнении условия 

(30) 

такие признаки будут бесполезны сами по себе, но полезны в совокупности.

На рис. 4 в координатах показана область значений, удовлетворяющих условию (30). Так, например, если и некоторый симптом присутствует для всех объектов первого класса () и для 20% объектов второго класса ( ), то, как видно из рис. 4, точка с такими координатами попадаем в область .

Непосредственной проверкой по формуле Байеса можно убедиться в том, что , в то время как. Если к тому же учесть, что , а , то становится ясно, что при любом значении признака оптимальным оказывается решение , совпадающее с решением, принимаемых по максимуму априорных вероятностей и распознаваемых классов (рис. 5 а). Значит, с точки зрения средней вероятности ошибки такой признак-симптом абсолютно бесполезен.

В то же время, если два подобных признака статистически независимы в классах, то их совместное использование оказывается полезным: при обнаружении обоих симптомов оптимальным является решение в пользу класса , поскольку апостериорная вероятность, тогда как (рис. 5 б).

Рис. 5.

Полученные результаты еще раз напоминают о том, насколько осмотрительно нужно подходить к вопросу об исключения “неэффективных” диагностических признаков в задачах медицинской и технической диагностики.

 

Заключение

В статье показано, что диагностический тест (признак) полезен с точки зрения уменьшения априорного риска (Определение 1) в том и только в том случае, когда вероятности ошибок пропуска цели и ложной тревоги удовлетворяют условиям (6),(7) Утверждения 1.

Получены оценки сверху граничных значений вероятностей ошибок пропуска цели и ложной тревоги, которые в соответствии с Утверждениями 2 и 3 определяются априорной вероятностью класса и величиной w , характеризующей соотношение потерь от ошибочных и правильных результатов.

Показано, что с точки зрения Определения 2 совокупность бесполезных в отдельности признаков может быть полезна даже в том случае, когда признаки статистически независимы в обоих классах (Утверждение 4).

Полученные результаты могут быть использованы для обоснованного конструирования пространства признаков в задачах медицинской и технической диагностики.

ЛИТЕРАТУРА: 

  1. Pudil P., Ferri F.J., Novovicova J., Kittler J. Floating Search Methods for Feature selection with Non monotonic Criterion Function. - Proc. of the 12-th Int. Conf. on Pattern Recognition. - vol.2, Jerusalem. -1994. - P.279-283.

  2. Kittler J. Feature Selection and Extraction. - Handbook of Pattern Recognition and Image Processing. - 1986.- 450 p.

  3. Барабаш Ю.Л. Учет свойств признаков при распознавании. - Изв. АН СССР. Техн. кибернетика.- 1965. - № 5. - С.85-92.

  4. Fainzilberg L.S. Interconnection Between Feature Properties and Probability of Error in Statistical Recognition of Two Classes. - Proc. of the 12-th Int. Conf. on Pattern Recognition. - vol.2. - Jerusalem. -1994. - P.544-546.

  5. Lewis P.M. The Characteristic Selection Problem in Recognition System. - IRE Trans. Inform. Theory. - vol. 8. – N 2. - 1962. - P.171-178.

  6. Биргер И.А. Определение диагностической ценности признаков. - Кибернетика. - 1968. - № 3. - С. 80-85.

  7. Ben-Bassat M. Irrelevant Features in Pattern Recognition. - IEEE Trans. Comput. - vol.C-27. - 1978. – N 8. - pp.749-766.

  8. McNeil B.J., Hanley J.A. Statistical approaches to the analysis of receiver operating characteristic (ROC) curves. Med Decision Making.- 1984.- N 4.- P. 137-150

  9. Gray R., Begg C.B., Greenes R.A. Construction of receiver operating characteristic curves when disease verification is subject to selection bias. Med Decision Making.- 1984.- N 4.-
    P. 151-164.

  10. Pan X., Metz C.E. The "proper" binormal model: parametric ROC curve estimation with degenerate data. Acad. Radiology. - 1997.- N 4.- P. 380-389.

  11. Metz C.E. Fundamental ROC analysis. Progress in Medical Physics and Psychophysics. In: Handbook of Medical Imaging, Vol. 1: (R Van Metter, J Beutel and H Kundel, eds.). Bellingham, WA; SPIE Press.- 2000.- P .754-769.

  12. Файнзильберг Л.С. Оценка полезности признаков при решении задач диагностики в статистической постановке .- Математические машины и системы, 1998, № 1.- С. 57-64.

  13. Fainzilberg L.S. Why Relevant Features May Be Unuseful in Statistical Recognition of Two Сlasses // Proc. of the 13-th International Conference on Pattern Recognition (ICPR’96).- Viena (Austria). - 1996. - P. 730-734.

  14. Ковалевский В.А. Методы оптимальных решений в распознавании изображений. -М. - Наука. -1976. - 328 с.

  15. Васильев В.И. Распознающие системы: Справочник. – К.: Наук. думка, 1983.- 422 с.

  16. Горелик А.Л., Скрипник В.А. Методы распознавания. – М.: Высшая школа, 1977. –
    220 с.

  17. Власов В.В. Эффективность диагностических исследований. – М.: Медицина, 1988.- 256 с.

  18. Файнзильберг Л.С. К вопросу о безошибочном распознавании двух классов по совокупности пересекающихся признаков. - Кибернетика, 1982, № 4.- С.104-109.

Дата публикации: 11 августа 2003
Источник: SciTecLibrary.ru

Вы можете оставить свой комментарий по этой статье или прочитать мнения других в следующих разделах ФОРУМА:
Свернуть Защита интеллектуальной собственности и авторских прав
Диспуты по темам изобретательства. Вопросы по изобретениям, проблемы на пути изобретателей и методы их решения.
Патентование. Все о патентовании изобретений, полезных моделей, промышленных образцов и товарных знаков.
Нерешенные задачи. Здесь идет обсуждение нерешенных задач: безопорный двигатель, вечный двигатель, преодоление гравитации и пр.
Свернуть Точные науки и дисциплины
Дебаты по Теории Относительности Эйнштейна. Все кому не лень хотят опровергнуть Теорию Относительности Эйнштейна. Вам предоставляется слово для аргументации.
Физика, астрономия, математические решения. Физико-математические вопросы, наблюдения, исследования, теории и их решение.
Физика альтернативная. Новые взгляды на физические законы, теории, эксперименты, не вписывающиеся в общепринятые законы физики.
Teхника, узлы, механизмы, электроника и аппаратура. Все про технику, приборы, детали, узлы и механизмы. Электроника, компьютеры, программное обеспечение. Новые технические решения в самых разных областях.
Биология, Генетика, Все о жизни. Генетика и другие вопросы биологии. Их развитие. Медицина. Биотехнологии, агротехника и сельское хозяйство. Эволюционные теории и альтернативные им.
Химия. Вопросы по химическим технологиям, разработкам и применению химических материалов. Химические элементы и их свойства.
Геология, все о Земле и ее обитателях. Геология, метеорология, антропология, сейсмология, атмосферные явления и непознанные эффекты природы.
Свернуть Мозговой штурм
Генератор решений. Здесь Вы можете заработать реальные деньги, помогая решать фирмам, предприятиям и частным лицам те или иные технические задачи, которые перед ними стоят. Те, кто ставят задачи перед участниками должны обозначить гонорар за ее решение и перевести указанную сумму на общий счет генератора.
Головоломки. Если у Вас есть желание поломать голову над интересными логическими задачами - Вам сюда.
Гипотезы. В этой теме идет обсуждение гипотез и предположений, основанных чисто на теории и логике.
Найди ляп! Этот раздел для тех, кто хочет мысленно расслабиться. Он посвящен задачам по поискам ляпов, которые встречаются в литературе, интернете, кино и на телевидении.
Свернуть Взгляд в будущее и настоящее
Глобальные темы. Вопросы касающиеся всех. Глобальные угрозы и злободневные темы современности.
Наука и ее развитие. Все о развитии науки, направлениях и перспективах движения научной мысли и знаний.
Новая Цивилизация. Принципы социального устройства новой цивилизации. Увеличение роли созидательного интеллекта... Отдалённые перспективы развития человечества...
Вопросы без ответов. Этот раздел посвящен вопросам и проблемам, которые до сих пор не решены. Предлагайте свои решения.
Военная стратегия и тактика современных боевых действий. Об особенностях современного военного искусства. Проблемные вопросы теории и практики подготовки вооруженных сил к войне, её планирование и ведение в различных конфликтах на планете.
Свернуть Гуманитарные науки и дисциплины
Философские дискуссии. Диспуты по вопросам жизни, сознания, бытия и иных философских понятий.
Экономика. Вопросы по экономике и о путях развития России и других стран.
Социология, Политология, Психология. В этом разделе обсуждаются вопросы, как отдельных частных исследований данных наук, так и проблема соотношения этих наук с остальными.
Образование. Все об образовании: как учить, кому учить, чему учить и кого учить.
Религия и атеизм. Вопросы религий и атеистические взгляды, религиозные споры.

Хотите разместить свою статью или публикацию, чтобы ее читали все?
Как это сделать - узнайте здесь.

Назад

 
О проекте Контакты Архив старого сайта

Copyright © SciTecLibrary © 2000-2017

Агентство научно-технической информации Научно-техническая библиотека SciTecLibrary. Свид. ФС77-20137 от 23.11.2004.