Большинство строгих эмпирических исследований программирования (путем преднамеренного, спланированного эксперимента, а не просто наблюдения за тем, что происходит), учитывающего все переменные, которые могут, вероятно, повлиять на результаты, было бы страшно дорого.
Например, точно так же, как в экспериментальной психологии, но даже более того, многие такие эмпирические исследования (например, Пречелта, как указано в презентации) основаны на добровольцах (и любой статистик может сказать вам, что при использовании самостоятельно выбранной выборки полностью искажает результаты и делает все исследование по существу бесполезным) и / или студентов (и, может быть, профессиональный опыт на 5, 10 или 20 лет не имеет большого значения для результатов - т. е. можно слепо предполагать, что опыт слепо не имеет значения, чтобы профессионалы ничему не научились на этом, что могло бы повлиять на результаты?).
Поиск репрезентативной случайной выборки был бы опасен для большинства исследователей - например, даже если бы вы могли предложить участникам 40 долларов в час, это очень большая сумма для большинства исследований приличного размера (с точки зрения количества участников в исследовании и его длина), вы будете склонять свою выборку к безработным или программистам со средним и низким уровнем заработной платы, систематический уклон, который вполне может повлиять на ваши результаты.
Вы могли бы сделать это (получить случайную выборку) в структуре, способной к принуждению - когда отказ от участия в исследовании, когда случайным образом выбранная часть выборки может нести возмездие (большинство фирм было бы в таком положении, и, безусловно, так было бы, например, наряды для военного программирования). У вас могут быть некоторые ворчащие, не очень желающие участники, но это более или менее неизбежно. Фирма с, скажем, 1000 программистами, может получить случайную выборку из 100 из них для участия в течение двух дней - этого будет достаточно для некоторых исследований, хотя определенно не для многих из самых интересных среди тех, которые были указаны (например, о влиянии различных этапов цикла разработки) и репрезентативной выборке программистов, работающих в настоящее время в фирме.
Стоимость для фирмы (с учетом полной загрузки сотрудников и затрат на инфраструктуру) может составлять около 100 000 долларов. Как окупятся инвестиции фирмы? Если результаты исследования не могут быть эффективно сохранены в тайне (маловероятно, что так много людей вовлечены, и исследователи не захотят их публиковать?), «Повышение производительности программистов» (возможно, путем изменения практики на основе исследования) не является реальным ответом. потому что все конкуренты фирмы (по крайней мере, с аналогичным населением и практикой программистов) могут легко имитировать любые успешные инновации. (Надеюсь и верю, что такие результаты не будут патентоспособными! -).
Таким образом, исследования, основанные на студентах и / или добровольцах, очень короткие исследования и просто наблюдательный (что не такое же, как эмпирический ! -) те, которые больше всего вокруг. Если вам не ясна разница между наблюдением и эмпирическим исследованием: на протяжении большей части истории человечества люди были убеждены, что тяжелые предметы падают быстрее, основываясь на данных наблюдений; потребовались преднамеренные эксперименты (созданные Галилеем для сравнения скоростей падения при попытке уменьшить некоторые эффекты, с которыми Галилео фактически не мог справиться строго), то есть эмпирические данные, чтобы изменить мнения по этому вопросу.
Это не совсем бесполезное свидетельство, но оно немного слабовато - 1026 * - один набор полуубедительных точек данных из многих, которые должны взвешивать руководители, принимающие решения, но только до определенной степени. Скажем, есть это исследование, основанное где-то на студентах, или на добровольцах из сети, или даже на надлежащей выборке из 100 человек ... из компании, которая делает программное обеспечение совершенно отличным от моего, и, на мой взгляд, нанимает посредственных программистов; как я должен взвесить эти исследования по сравнению с моими собственными наблюдательными данными, основанными на точных знаниях конкретных секторов, технологий и людей, с которыми работает моя фирма ? «Несколько» кажется разумным наречием для использования здесь; -)