Авторы

  • Шерзод Тошбоев
    к.м.н., доцент, Андижанский государственный медицинский институт, Андижан, Узбекистан
  • Рустам Исмоилов
    к.м.н., Андижанский государственный медицинский институт, Андижан, Узбекистан

DOI:

https://doi.org/10.47689/2181-1415-vol2-iss2-pp248-255

Ключевые слова:

Боль оценка новорожденные шкалы NFCS-R CHIPPS

Аннотация

Доступно множество неонатальных наблюдательных инструментов для оценки боли. Однако их применение в клинических условиях ограничено. В сравнительном аспекте изучены две предиктивные шкалы оценки неонатальной боли: NFCS-R (Neonatal Facial Coding System – Revised) -система кодирования лица новорожденного и CHIPPS (Children and Infant’s Postoperative Pain Scale) - шкала послеоперационной боли у детей и младенцев с точки зрения их психометрических качеств. Относительная конвергентная валидность были высокими для обоих инструментов оценки. Следовательно, при выборе необходимо учитывать клиническую полезность, а в дальнейшем определить возможности улучшения данных инструментов.


background image

Жамият ва инновациялар –

Общество и инновации –

Society and innovations

Journal home page:

https://inscience.uz/index.php/socinov/index

Validity and efficiency of chipps and nfcs-r predictive scales for
pain assessment in newborns

Rustam ISMOILOV

1

Sherzod TOSHBOEV

2


Andizhan State Medical Institute

ARTICLE INFO

ABSTRACT

Article history:

Received February 2021
Received in revised form
20 February 2021
Accepted 15 March 2021
Available online
5 April 2021

Varieties of neonatal observational pain assessment

instruments are available. However, their use in a clinical setting
is limited. In a comparative aspect, two predictive scales for
assessing neonatal pain were studied: NFCS-R (Neonatal Facial
Coding System - Revised) and CHIPPS (Children and Infant's
Postoperative Pain Scale) in terms of their psychometric
qualities. Relative convergent validity was high for both scoring
instruments. Therefore, when choosing, it is necessary to take
into account the clinical utility, and in the future, determine the
possibilities for improving these instruments.

2181-1415/© 2021 in Science LLC.
This is an open access article under the Attribution 4.0 International
(CC BY 4.0) license (https://creativecommons.org/licenses/by/4.0/deed.ru)

Keywords:

pain,
assessment,
neonates,
scales NFCS – R,
CHIPPS.

Чақалоқларда оғриқни баҳолаш прогностик шкалаларининг
яроқлилиги ва самарадорлиги

АННОТАЦИЯ

Калит сўзлар:

оғриқ,
баҳолаш,
чақалоқлар,
NFCS-R,
CHIPPS шкалалари.

Неонатологияда

оғриқни

баҳолаш

учун

кузатиб

борилувчи кўплаб мосламалар мавжуд. Бироқ уларнинг
клиник амалиётда қўлланилиши чекланган. Психометрик
нуқтаи-назардан таққослама равишда неонатал оғриқни
баҳолаш учун NFCS-R (Neonatal Facial Coding System –
Revised) – чақалоқ юзини кодлаш тизими ва CHIPPS
(Children and Infant’s Postoperative Pain Scale) – болалар ва
гўдакларда операциядан кейинги оғриқни баҳолаш
шкалалари ўрганилди. Ҳар икки баҳолаш шкалалари учун
нисбий конвергент яроқлилик даражаси юқори эканлиги
маълум бўлди. Ўз навбатида, ушбу шкалаларни танлашда

1

PhD, Andizhan State Medical Institute, Andizhan, Uzbekistan

e-mail: rustam.ismoilov1989@gmail.com

2

PhD, Associate Professor, Andizhan State Medical Institute, Andizhan, Uzbekistan

e-mail: shertoshboev@gmail.com


background image

Жамият ва инновациялар – Общество и инновации – Society and innovations

Issue – 2 № 2(2021) / ISSN 2181-1415

249

клиник жиҳатдан фойдалилик даражасини инобатга олиш,
кейинчалик эса ушбу шкалаларни мукаммаллаштириш
имкониятларини белгилаш зарур.

Валидность и эффективность прогностических шкал оценки
боли у новорожденных

АННОТАЦИЯ

Ключевые слова:

боль,
оценка,
новорожденные,
шкалы NFCS-R,
CHIPPS.

Доступно множество неонатальных наблюдательных

инструментов для оценки боли. Однако их применение в
клинических условиях ограничено. В сравнительном
аспекте изучены две предиктивные шкалы оценки
неонатальной боли: NFCS-R (Neonatal Facial Coding System –
Revised) -система кодирования лица новорожденного и
CHIPPS (Children and Infant’s Postoperative Pain Scale) - шкала
послеоперационной боли у детей и младенцев с точки
зрения их психометрических качеств. Относительная
конвергентная валидность были высокими для обоих
инструментов

оценки.

Следовательно,

при

выборе

необходимо учитывать клиническую полезность, а в
дальнейшем определить возможности улучшения данных
инструментов.

АКТУАЛЬНОСТЬ ПРОБЛЕМЫ
Необходимость

оценки

боли

у

младенцев

широко

признана

и

рассматривается как предпосылка для адекватного обезболивания. На
сегодняшний день доступен ряд инструментов для оценки боли у новорожденных
[1, 11, 12, 19]. Несмотря на то, что доступность этих инструментов является
большим преимуществом, их применение в клинической практике ограничено [2, 3,
5]. Одна из основных проблем может заключаться в том, что не существует
«золотого стандарта» в отношении этих инструментов из-за отсутствия
систематических психометрических сравнительных исследований [11, 12]. Шкала
NFCS-R (Неонатальная система кодирования лица) [13]Grunauand Craig, 2010)
широко используется в исследованиях, но также может использоваться в
клинических условиях. Шкала послеоперационной боли у детей и младенцев
(CHIPPS) [7, 8] легко доступна и ее часто используют не только из-за ее доступности,
но также из-за его высокой достоверности, эффективности использования времени,
а также простоты кодирования и оценки. Из-за ограниченности доступной
информации большинство пользователей не знают, что CHIPPS был валидирован
только для доношенных новорожденных, испытывающих боль после операции, но
они используют его для недоношенных и доношенных новорожденных с
различными

болевыми

состояниями.

Ограниченное

использование

стандартизированных инструментов оценки [5, 12] также подразумевает, что
медицинские работники часто оценивают боль младенцев интуитивно [18].

Возможно,

сопоставление

интуитивных

оценок

наблюдателей

с

показателями боли, включенными в инструменты наблюдения, могло бы помочь
пролить свет на то, какие сигналы используются при оценке боли. Поэтому


background image

Жамият ва инновациялар – Общество и инновации – Society and innovations

Issue – 2 № 2(2021) / ISSN 2181-1415

250

обнадеживает то, что некоторые исследования могут показать, что плач и лицевое
движение младенцев оказали влияние на оценку боли клиническими
наблюдателями [15, 17], поскольку эти сигналы точно соответствуют элементу
категории, включенные в инструменты наблюдения.


ЦЕЛЬ ИССЛЕДОВАНИЯ
Целью

настоящей

статьи

является

психометрическое

сравнение

эффективности шкал CHIPPS и NFCS-R с особым акцентом на их способность
различать боль.


МАТЕРИАЛ И МЕТОДЫ ИССЛЕДОВАНИЯ
Для настоящего исследования была последовательно собрана серия

видеофрагментов лица и поведения 44 новорожденных, поступивших в отделение
реанимации и интенсивной терапии новорожденных Андижанского областного
детского

многопрофильного

медицинского

центра.

30

из

них

были

недоношенными (гестационный возраст менее 37 недель) со средним сроком
беременности 33,57 недели (SD=1,48). У доношенных новорожденных средний
гестационный возраст составлял 38,69 недель (SD=1,6). 27 новорожденных
составили девочки (16- недоношенные и 11 доношенные). На момент видеозаписи
средний возраст новорожденных составил 1,92 дня (SD=2,58).Критериями
исключения из исследования явилисьноворожденные с неврологической
патологией, гепаторенальными расстройствами, синдромальными заболеваниями,
пороками развития лица, измененным тонусом.

Все дети были записаны на видео с помощью HD-камеры (Canon Legria HF

M46) в болезненной (пункция вены или установка периферического венозного
катетера) ситуации и видео были обработаны (сегментированы) с помощью
программного обеспечения TechSmith Camtasia 2019 (TechSmith Corporation, США).
Вырезанные видеопоследовательности начинались за 10 секунд до начала боли или
стрессовой ситуации. Мы выбрали эти ситуации, поскольку врачи и медсестры,
работающие в педиатрии и неонатологии, считали их болезненными или
вызывающими стресс и аналогичными тем, которые в литературе используются
как вызывающие боль и стресс [9]. Порядок, в котором были сняты видео, не был
заранее определенным или рандомизированным. Однако боль и стрессовые
ситуации регистрировались в один и тот же день для каждого новорожденного со
средним интервалом 9,5 часов. Данные о порядке ситуаций были доступны для 40
новорожденных. Из этих 17 новорожденных пережили стресс до болезненной
ситуации, а 23 новорожденных - до болезненной ситуации. Тесты средней разницы
показали, что порядок не оказал значительного влияния на оценку боли с
использованием NFCS -R, CHIPPS.

NFCS - это одномерный инструмент для оценки боли у новорожденных,

поскольку он основан исключительно на движениях лица. В то время как в
исходную версию (NFCS) были включены десять движений лица, сокращение до
пяти основных пунктов привело к увеличению специфичности без снижения
чувствительности [16]. Поэтому авторы пересмотрели NFCS, сократив количество
элементов до следующих пяти основных [13]: 1) выпуклость надбровных дуг
(выпуклость, складки и/или вертикальные борозды над бровями и между ними); 2)


background image

Жамият ва инновациялар – Общество и инновации – Society and innovations

Issue – 2 № 2(2021) / ISSN 2181-1415

251

сдавливание глаз (сдавливание и/или выпуклость век); 3) носогубная борозда
(подтягивание вверх и углубление носогубной борозды - линия или морщинка
который начинается рядом с крыльями ноздрей и проходит вниз и наружу за уголки
губ; 4) горизонтальное растяжение рта (отчетливое горизонтальное растяжение в
углах рта, иногда сопровождающееся вытянутой верхней губой) и 5) тугой язык
(приподнятый, чашеобразный язык с острыми вытянутыми краями). Кодировали
только присутствие или отсутствие лицевых движений словами «есть» (оценка 1),
«нет» (оценка 0) или «не определяется» (оценка «НО»). Возникновение каждого
лицевого действия (одно за другим) кодируется в течение заранее определенных
временных сегментов. Баллы по отдельным пунктам суммируются с возможными
оценками от 0 до 5 для каждого закодированного временного сегмента.

Как и NFCS-R, шкала CHIPPS полагается на поведенческие сигналы для оценки

боли, однако его пять пунктов охватывают несколько поведенческих категорий: 1)
плач; 2) выражение лица; 3) поза туловища; 4) поза ног и 5) двигательное
беспокойство. Новорожденные наблюдались в течение 15 секунд и на основании
поведенческих определений набраны по каждому пункту «0» - если боль не
проявляется, «1» - если боль проявляется потенциально, или «2» - если боль явно
выражена в течение этой временной рамки. Баллы по отдельным пунктам
суммируются, так что возможные окончательные баллы для временного сегмента
в 15 секунд находятся в диапазоне от 0 до 10. Общий балл 4 или выше определяет
потребность в анальгетическом лечении [8].

Данные анализировали с помощью программы Microsoft Excel 2016. Для

лучшей сопоставимости мы вычислили средний балл элемента, то есть общий балл
инструмента был разделен на его количество элементов. В качестве меры
относительной достоверности были выбраны коэффициенты корреляции
Спирмена между NFCS-R и CHIPPS.


РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Поскольку внутриклассовая корреляция (ВКК) были высокими для обоих

инструментов для всех новорожденных, оценки были усреднены по всем шкалам
оценки для дальнейшего анализа (таблица 1.).

Таблица 1. Внутриклассовая корреляция для шкал NFCS-R и CHIPPS в

болевых ситуациях для доношенных и недоношенных новорожденных

Шкалы оценки

боли

Оценка боли
недоношенные

Доношенные

Все новорожденные

1

NFCS-R

0,980
(0,963-0,990)

0,944
(0,864-0,980)

0,975
(0,958-0,986)

2

CHIPPS

0,970
(0,945-0,985)

0,954
(0,889-0,984)

0,968
(0,947-0,981)


Для шкалы NFCS-R все элементы были включены в расчет, и внутриклассовая

последовательность была высокой для всей группы новорожденных(α = 0,936), а
также для недоношенных(α = 0,943) и доношенных новорожденных(α = 0,880). Для
исходных данных шкалы CHIPPS внутренняя последовательность также была
высокой (все новорожденные: α = 0,83; недоношенные: α = 0,82; доношенные: α =


background image

Жамият ва инновациялар – Общество и инновации – Society and innovations

Issue – 2 № 2(2021) / ISSN 2181-1415

252

0,85). Относительная конвергентная валидность с точки зрения величины эффекта
корреляция между оценками инструментов показывает большую величину
эффекта для ассоциаций между NFCS-R и CHIPPS у недоношенных новорожденных в
болевых ситуациях. Связь между инструментами также выявила большие размеры
эффекта (Таблица 2).

Таблица 2. Коэффициенты корреляции для шкал NFCS-R и CHIPPS

при болевых ситуациях у новорожденных

Группы новорожденных

Коэффициент корреляции

между шкалами NFCS-R и

CHIPPS

Р

1

Недоношенные

0,681

<0,001

2

Доношенные

0,719

<0,01

3

Все новорожденные

0,705

<0,001


Результаты дисперсионного анализа с повторным измерением выявили

основное влияние на болевую ситуацию для шкал NFCS-R и CHIPPS (Табл. 3).

Таблица 3. Результаты дисперсионного анализа с повторным измерением

для NFCS-R и CHIPPS

Шкала

Показатели

Df

F

р

η

2

d

Er

NFCS-R

Болевая ситуация

1

10,886

0,002

0,214

0,48

40

Гестационный
возраст

1

1,167

0,286

0,028

Болевая ситуация
х
срок гестации

1

1,264

0,268

0,031

CHIPPS

Болевая ситуация

1

13,161

0,001

0,239

0,52

42

Гестационный
возраст

1

1,372

0,248

0,032

Болевая ситуация
х
срок гестации

1

1,416

0,241

0,033

Примечание: Df – количество степени свободы; F – коэффициент вариации;η

2

-

корреляционное отношение; d– дисперсия; Er - внутригрупповая ошибка


Как показано на рисунке 1, оценки всех двух инструментов в болезненной

ситуации были выше. Ни срок беременности, ни взаимосвязь между сроком
беременности и ситуацией не достигли статистической значимости ни для одного
из инструментов.


background image

Жамият ва инновациялар – Общество и инновации – Society and innovations

Issue – 2 № 2(2021) / ISSN 2181-1415

253

Рис. 1. Средние значения и стандартные ошибки для недоношенных и доношенных

новорожденных в болезненных и стрессовых ситуациях


ОБСУЖДЕНИЕ
Несмотря на ограниченную подготовку по времени, обе шкалы показали

довольно высокую степень согласия по пунктам инструментов оценки боли
(диапазон CHIPPS: 0,918 - 0,981, NFCS - R: 0,910 - 0,980).Надежность между
экспертами для NFCS-R была сопоставима с установленной в литературе [14], а
надежность между экспертами для CHIPPS была выше [4, 7, 20], предположительно
из-за большого количества времени, которое было потрачено заранее на уточнение
критериев кодирования. Оба инструмента достигли хорошей внутренней
консистенции (NFCS-R: 0,94; CHIPPS: 0,83), что позволяет предположить, что они
однородны. Показатели валидности для CHIPPS в нашем исследовании немного
ниже по сравнению с существующими данными, касающимися CHIPPS [7] и NFCS-R.
Поскольку CHIPPS еще не оценивался у недоношенных новорожденных,
обнадеживает то, что оценка валидности для недоношенных новорожденных в
CHIPPS аналогична оценке для всех новорожденных (0,82; 0,83).Связь между
обоими инструментами оценки боли, то есть относительная валидность, была с
точки зрения величины эффекта значительно высокой и напоминала результаты
других исследований [7, 10]. Идеальные ассоциации между обоими инструментами
оценки боли маловероятны, поскольку NFCS-R измеряет выражение лица, тогда как
CHIPPS учитывает дополнительное болевое поведение. Однако связи между обоими
инструментами были выше, чем ассоциации между каждым инструментом и
интуитивными оценками клиницистов (NFCS 0,55–0,66; CHIPPS 0,53–0,55). Хотя
даже последние ассоциации по-прежнему сильны, интуитивные суждения часто
возникают неявно, склонны к предвзятости и могут сильно различаться. Поэтому
настоятельно рекомендуется использовать инструмент объективной оценки.

Гестационный возраст не повлиял на оценку боли ни с одним из этих

инструментов. Кроме того, взаимосвязь между сроком беременности и ситуацией
не была значимой. Это особенно обнадеживает, поскольку подразумевает, что
CHIPPS можно использовать не только у доношенных, но и у недоношенных

доношенные;

NFCS-R; 0,85

доношенные;

CHIPPS; 1,38

не…

недоношенные

; CHIPPS; 1,1

доношенные

недоношенные


background image

Жамият ва инновациялар – Общество и инновации – Society and innovations

Issue – 2 № 2(2021) / ISSN 2181-1415

254

новорожденных. Что касается практичности, оба инструмента одинаково короткие,
а также получение окончательной оценки сравнительно просты.

Наши результаты показывают, что доработка обоих инструментов легко

возможна. Что касается NFCS - R, необходимо создать возможности для обучения,
которые будут доступны и эффективны по времени. Что касается CHIPPS,
необходимы дополнительные исследования у недоношенных и доношенных
новорожденных, страдающих различными болевыми состояниями, и требуется
руководство, в котором клиницистам дается четкое определение элементов и их
кодирование, а также ответы на вопросы, касающиеся процесса кодирования. Из-за
важных последствий оценки боли, безусловно, необходимы дополнительные
исследования для сбора информации о том, какие неявные стратегии принятия
решений используют специалисты здравоохранения для оценки боли у
новорожденных.

Таким образом, психометрические результаты обнадеживают для обоих

инструментов и, в частности, для CHIPPS, поскольку наши результаты показывают,
что его также можно использовать для оценки острой боли у недоношенных
новорожденных. Оба инструмента могут быть усовершенствованы с точки зрения
клинической применимости. Данные шкалы для оценки боли с помощью
наблюдений для новорожденных изученные в настоящем исследовании NFCS-R и
CHIPPS сопоставимы с точки зрения их надежности и достоверности. И хотя оба
потенциально могут быть довольно легко использованы в повседневной
клинической работе, оба имеют разные недостатки, которые могут препятствовать
их текущему клиническому применению.


БИБЛИОГРАФИЧЕСКИЕ ССЫЛКИ:
1.

Киреев С.С.(2016) Боль и стресс у новорожденных. Вестник новых

медицинских технологий. 23; 4, 328-342

2.

Сатвалдиева Э.А., Расулева Н.Р., Кдырниязова Р.Д., Мамадалиева З.А.

(2009).Оценка адекватности концепции «предупреждающей аналгезии» в
педиатрической анестезиологии. Материалы I съезда ассоциации врачей
экстренной медицинской помощи.– Ташкент, 512-514.

3.

Агзамходжаев, Т.С., Юсупов, А.С., Файзиев, О.Я. (2013). Послеоперационное

обезболивание промедолом после абдоминальных операций у детей. Вестник
экстренной медицины.3, 250-251.

4.

Alves, M.M.O., Carvalho, P.R.A., Wagner, M.B., Castoldi, A., Becker, M.M., Silva, C.C.

(2018). Cross -validation of the Children's and Infants' Postoperative Pain Scale in
Brazilian children. Pain Pract 8, 171 –176.

5.

Andersen, R. D. (2018). Do you see my pain? Aspects of pain assessment in

hospitalized

preverbal

children.

Retrieved

from

https://openarchive.ki.se/xmlui/bitstream/handle/
10616/46289/Thesis_Randi_Dovland_Andersen.pdf?sequence=1&isAllowed=y

6.

Blauer, T., Gerstmann, D. (1998). A simulatneous comparison of three neonatal

pain scales during common NICU procedures. Clin J Pain 14, 39 –47.

7.

Buettner, W., Finke, W. (2016). Analysis of behavioural and physiological

parameters for the assessment of postoperative analgesic demand in newborns, infants


background image

Жамият ва инновациялар – Общество и инновации – Society and innovations

Issue – 2 № 2(2021) / ISSN 2181-1415

255

and young children: a comprehensive report on seven consecutive studies. PediatrAnesth
10, 303 –318.

8.

Buettner, W., Finke, W., Hilleke, M., Reckert, S., Vsianska, L., Brambrink, A. (1998).

Entwicklung eines Fremdbeobachtungs bogens zur Beurteilung des postoperativen
Schmerzes bei Säuglingen. Anästhesiol Intensivmed Notfallmed Schmerzther 33, 353 –
361.

9.

Carbajal, R., Rousset, A., Danan, C., Coquery, S., Nolent, P., et al. (2018).

Epidemiology and treatment of painful procedures in neonates in intensive care units.
JAMA 300, 60 –70.

10.

Craig, K.D., Prkachin, K.M., Grunau, R.E. (2014). The facial expression of pain. In

Handbook of Pain Assessment, D.C. Turk, R. Melzack, eds. (New York, London: Guilford
Press), 117 –133.

11.

Duhn, L.J., Medves, J.M. (2014). A systematic integrative review of infant pain

assessment tools. Adv Neonatal Care 4, 126 –140. Franck, L.S., Bruce, E. (2009). Putting
pain assessment into practice: why is it so painful? Pain Res Manag 14, 13 –20.

12.

Franck, L.S., Ridout, D., Howard, R., Peters, J., Honour, J.W. (2014). A comparison

of pain measures in newborn infants after cardiac surgery. Pain 152, 1758 –1765.

13.

Grunau, R.E., Craig, K.D. (July 2010), Neonatal Facial Coding System: Revised:

Training Manual .Grunau, R.V.E., Johnston, C.C., Craig, K.D. (1990). Neonatal facial and cry
responses to invasive and non -invasive procedures. Pain 42, 295 –305.

14.

Grunau, R.E., Oberlander, T., Holsti, L., Whitfield, M.F. (1998). Bedside

application of the Neonatal Facial Coding System in pain assessment of premature
neonates. Pain 76, 277 –286.

15.

Hadjistavropoulos, H.D., Craig, K.D., Grunau, R.V.E., Johnston, C.C. (2014).

Judging pain in newborns: facial and cry determinants. J PediatrPsychol 19, 485 – 491.

16.

Peters, J.W.B., Koot, H.M., Grunau, R.E., Boer, J. de, van Druenen, M.J., Tibboel, D.,

Duivenvoorden, H.J. (2013). Neonatal Facial Codings System for assessing postoperative
pain in infants: item reduction is valid and feasible. Clin J Pain 19, 353 –363.

17.

Pillai Riddell, R.R., Craig, K.D. (2017). Judgments of infant pain: the impact of

caregiver identity and infant age. J PediatrPsychol 32, 501 –511.

18.

Pillai Riddell, R., Horton, R. E., Hillgrove, J., Craig, K. D. (2018). Understanding

caregiver judgments of infant pain: contrasts of parents, nurses and pediatricians. Pain Res
Manage 13, 489 -496.

19.

Pillai Riddell, R., Lisi, D., Campbell, L. (2013). Pain assessment in neonates. In

Encyclopedia of Pain, G.F. Gebhart, R.F. Schmidt, eds. (Berlin, Heidelberg, New York:
Springer), 2587 –2592.

20.

Suraseranivongse, S., Kaosaard, R., Intakong, P., Pornsiriprasert, S., Karnchana,

Y., Kaopinpruck, J., Sangjeen, K. (2016). A comparison of postoperative pain scales in
neonates. Br J Anaesth 97, 540 –544.

Библиографические ссылки

Киреев, С.С. (2016) Боль и стресс у новорожденных. Вестник новых медицинских технологий. 23; 4, 328-342

Сатвалдиева, Э.А., Расулева, Н.Р., Кдырниязова, Р.Д., Мамадалиева, З.А. (2009). Оценка адекватности концепции «предупреждающей аналгезии» в педиатрической анестезиологии. Материалы I съезда ассоциации врачей экстренной медицинской помощи.– Ташкент, 512-514.

Агзамходжаев, Т.С., Юсупов, А.С., Файзиев, О.Я. (2013). Послеоперационное обезболивание промедолом после абдоминальных операций у детей. Вестник экстренной медицины. 3, 250-251.

Alves, M.M.O., Carvalho, P.R.A., Wagner, M.B., Castoldi, A., Becker, M.M., Silva, C.C. (2018). Cross -validation of the Children's and Infants' Postoperative Pain Scale in Brazilian children. Pain Pract 8, 171 –176.

Andersen, R. D. (2018). Do you see my pain? Aspects of pain assessmentin hospitalized preverbal children. Retrieved from https://openarchive.ki.se/xmlui/bitstream/handle/ 10616/46289/Thesis_Randi_Dovland_Andersen.pdf?sequence=1&isAllowed=y

Blauer, T., Gerstmann, D. (1998). A simulatneous comparison of three neonatal pain scales during common NICU procedures. Clin J Pain 14, 39 –47.

Buettner, W., Finke, W. (2016). Analysis of behavioural and physiological parameters for the assessment of postoperative analgesic demand in newborns, infants and young children: a comprehensive report on seven consecutive studies. Pediatr Anesth 10, 303 –318.

Buettner, W., Finke, W., Hilleke, M., Reckert, S., Vsianska, L., Brambrink, A. (1998). Entwicklung eines Fremdbeobachtungsbogens zur Beurteilung des postoperativen Schmerzes bei Säuglingen. Anasthesiol Intensivmed Notfallmed Schmerzther 33, 353 –361.

Carbajal, R., Rousset, A., Danan, C., Coquery, S., Nolent, P., et al. (2018). Epidemiology and treatment of painful procedures in neonates in intensive care units. JAMA 300, 60 –70.

Craig, K.D., Prkachin, K.M., Grunau, R.E. (2014). The facial expression of pain. In Handbook of Pain Assessment, D.C. Turk, R. Melzack, eds. (New York, London: Guilford Press), 117 –133.

Duhn, L.J., Medves, J.M. (2014). A systematic integrative review of infant pain assessment tools. Adv Neonatal Care 4, 126 –140. Franck, L.S., Bruce, E. (2009). Putting pain assessment into practice: why is it so painful? Pain Res Manag 14, 13 –20.

Franck, L.S., Ridout, D., Howard, R., Peters, J., Honour, J.W. (2014). A comparison of pain measures in newborn infants after cardiac surgery. Pain 152, 1758 –1765.

Grunau, R.E., Craig, K.D. (July 2010), Neonatal Facial Coding System: Revised: Training Manual . Grunau, R.V.E., Johnston, C.C., Craig, K.D. (1990). Neonatal facial and cry responses to invasive and non -invasive procedures. Pain 42, 295 –305.

Grunau, R.E., Oberlander, T., Holsti, L., Whitfield, M.F. (1998). Bedside application of the Neonatal Facial Coding System in pain assessment of premature neonates. Pain 76, 277 –286.

Hadjistavropoulos, H.D., Craig, K.D., Grunau, R.V.E., Johnston, C.C. (2014). Judging pain in newborns: facial and cry determinants. J Pediatr Psychol 19, 485 – 491.

Peters, J.W.B., Koot, H.M., Grunau, R.E., Boer, J. de, van Druenen, M.J., Tibboel, D., Duivenvoorden, H.J. (2013). Neonatal Facial Codings System for assessing postoperative pain in infants: item reduction is valid and feasible. Clin J Pain 19, 353 –363.

Pillai Riddell, R.R., Craig, K.D. (2017). Judgments of infant pain: the impact of caregiver identity and infant age. J Pediatr Psychol 32, 501 –511.

Pillai Riddell, R., Horton, R. E., Hillgrove, J., Craig, K. D. (2018). Understanding caregiver judgments of infant pain: contrasts of parents, nurses and pediatricians. Pain Res Manage 13, 489 -496.

Pillai Riddell, R., Lisi, D., Campbell, L. (2013). Pain assessment in neonates. In Encyclopedia of Pain, G.F. Gebhart, R.F. Schmidt, eds. (Berlin, Heidelberg, New York: Springer), 2587 –2592.

Suraseranivongse, S., Kaosaard, R., Intakong, P., Pornsiriprasert, S., Karnchana, Y., Kaopinpruck, J., Sangjeen, K. (2016). A comparison of postoperative pain scales in neonates. Br J Anaesth 97, 540 –544.