Наука без воспроизводимости — как робот-пылесос без карты квартиры: кружит, пыхтит, а толку как с кота селфи. В робототехнике это искушение особенно велико: системы сложные, среды капризные, симуляторы — как погода в апреле. Но хорошая новость в том, что повторяемость здесь не мираж. Она возможна — и давно уже оформлена в правила.

Ещё в 2000-х европейская сеть EURON собрала группу по Good Experimental Methodology (GEM). Идея была проста и смела: если уж мы называем работу «экспериментальной», давайте играть по научным правилам. Сперва — воспроизводимость в статистически осмысленном смысле: отдельные прогоны могут прыгать, но их распределения должны совпасть. Затем — честное сравнение с альтернативами по заранее выписанному сценарию: какие метрики, какие условия, какие шаги.

Почему это критично именно для робототехники? Потому что подавляющее большинство исследований здесь — «про реальность»: реальные выезды, манипуляции, либо хотя бы симуляции, которые притворяются реальностью. А где много движущихся частей, там особенно легко потерять методологическую гайку. Отсюда и печальная классика: «экспериментальные свидетельства», где нет ни семян, ни параметров, ни внятного бейзлайна — есть лишь надежда и график с красивым трендом.

Что делать, чтобы график перестал быть картинкой на стене и стал аргументом:

  • Пакет репликации: код, данные, конфиги, версии, фиксированные семена.
  • Полная карта установки: железо, сенсоры, прошивки, софт, параметры симуляции.
  • Статистика по-взрослому: несколько прогонов, доверительные интервалы, тесты.
  • Чёткие бейзлайны и протокол сравнения: кто с кем, где и по каким правилам.
  • Прозрачные оценки: не только среднее, но и разброс, отказоустойчивость, деградация.
  • Документация шаг за шагом: чтобы другой лаб мог пройти тем же маршрутом.

Сообщество уже идёт в эту сторону: от GEM-рекомендаций до «жизненного цикла воспроизводимой статьи», где результат — не слайд, а комплект материалов, который можно запустить. И когда следующий робот уверенно повторит ваш трюк на чужом столе — вот тогда это будет не магия, а наука.