Secara kebetulan, dalam arus berita dan maklumat, saya terjumpa sebuah artikel di Nature Scientific Reports. Ini memaparkan data dari tinjauan 1,500 saintis mengenai kebolehulangan hasil penyelidikan. Sekiranya sebelumnya masalah ini dibangkitkan untuk penyelidikan biologi dan perubatan, di mana di satu pihak ia dapat dijelaskan (korelasi palsu, kerumitan umum sistem yang dikaji, kadang-kadang bahkan perisian saintifik dituduh), di sisi lain, ia mempunyai watak fenomenologi (misalnya, tikus cenderung berperilaku berbeza dengan saintis jantina yang berbeza (1 dan 2)).
Namun, tidak semuanya lancar dengan lebih banyak sains semula jadi, seperti fizik dan kejuruteraan, kimia, ekologi. Nampaknya, disiplin ilmu ini berdasarkan eksperimen yang benar-benar boleh dibuat semula dalam keadaan yang paling terkawal, sayangnya, mengagumkan - dalam setiap pengertian kata - hasil tinjauan: sehingga 70% penyelidik telah menemui eksperimen dan hasil yang tidak dapat direproduksi yang diperoleh bukan hanya oleh kumpulan saintis lain, TETAPI juga oleh pengarang / pengarang bersama karya ilmiah yang diterbitkan!
Adakah setiap tukang pasir memuji rawa?
Walaupun 52% responden menunjukkan krisis kebolehulangan dalam sains, kurang dari 31% menganggap data yang diterbitkan tidak betul pada dasarnya dan majoriti menunjukkan bahawa mereka masih mempercayai karya yang diterbitkan.
Soalan: Adakah krisis kebolehulangan hasil?
Sudah tentu, anda tidak boleh melepaskan semua ilmu pengetahuan hanya berdasarkan tinjauan ini: separuh daripada responden masih merupakan saintis yang berkaitan, dalam satu atau lain cara, dengan disiplin biologi. Seperti yang dicatat oleh penulis, dalam bidang fizik dan kimia, tahap kebolehulangan dan keyakinan terhadap hasil yang diperoleh jauh lebih tinggi (lihat grafik di bawah), tetapi masih tidak 100%. Tetapi dalam perubatan, keadaannya sangat buruk berbanding yang lain.
Video promosi:
Anekdot terlintas di fikiran:
Marcus Munafo, ahli psikologi biologi di University of Bristol, England, mempunyai minat yang lama dalam menghasilkan semula data saintifik. Mengenang hari-hari zaman pelajarnya, dia berkata:
Soalan: Berapa banyak karya yang diterbitkan di industri anda dapat diterbitkan semula?
Kedalaman masalah garis lintang dan garis bujur
Bayangkan bahawa anda seorang saintis. Anda menjumpai artikel yang menarik, tetapi hasil / eksperimen tidak dapat diterbitkan semula di makmal. Adalah logik untuk menulis tentang ini kepada pengarang artikel asal, meminta nasihat dan mengemukakan soalan yang jelas. Menurut tinjauan, kurang dari 20% telah melakukan ini pada bila-bila masa dalam kerjaya ilmiah mereka!
Penulis kajian menyatakan bahawa, mungkin, hubungan dan perbualan seperti itu terlalu sukar bagi para saintis itu sendiri, kerana mereka mengungkapkan ketidakcekapan dan ketidakkonsistenan mereka dalam isu-isu tertentu atau mendedahkan terlalu banyak perincian projek semasa.
Lebih-lebih lagi, sebilangan besar saintis berusaha untuk menerbitkan penolakan hasil yang tidak dapat dihasilkan, sementara menghadapi tentangan dari para penyunting dan pengulas yang menuntut agar perbandingan diturunkan dengan kajian semula. Adakah hairanlah bahawa kemungkinan melaporkan hasil tidak saintifik hasil saintifik adalah sekitar 50%.
Soalan pertama: Adakah anda telah mencuba menghasilkan semula hasil percubaan?
Soalan kedua: Adakah anda pernah mencuba untuk mencatatkan hasilnya?
Mungkin, di dalam makmal, sekurang-kurangnya untuk menjalankan ujian kebolehulangan? Yang paling menyedihkan ialah sepertiga daripada responden TIDAK PERNAH memikirkan untuk membuat kaedah untuk memeriksa data untuk kebolehulangan. Hanya 40% menunjukkan bahawa mereka kerap menggunakan teknik tersebut.
S: Adakah anda pernah mengembangkan teknik / proses teknikal khas untuk meningkatkan kebolehulangan hasil?
Contoh lain, seorang ahli biokimia dari United Kingdom, yang tidak mahu mengungkapkan namanya, mengatakan bahawa usaha untuk mengulangi, menghasilkan semula karya untuk projek makmalnya hanya menggandakan masa dan kos bahan, tanpa memberikan atau menambahkan sesuatu yang baru untuk pekerjaan itu. Pemeriksaan tambahan hanya dilakukan untuk projek inovatif dan hasil yang tidak biasa.
Dan tentu saja, persoalan Rusia abadi yang mula menyiksa rakan sekerja asing: siapa yang harus dipersalahkan dan apa yang harus dilakukan?
Siapa yang bersalah?
Penulis karya mengenal pasti tiga masalah utama kebolehulangan hasil:
- Tekanan dari pihak atasan untuk membuat karya diterbitkan tepat pada waktunya
- Pelaporan selektif (nampaknya, ini bermaksud penghapusan beberapa data, yang "merosakkan" keseluruhan gambar)
- Analisis data tidak mencukupi (termasuk statistik)
Soalan: Faktor apa yang bertanggungjawab untuk hasil saintifik yang tidak dapat dihasilkan?
Jawapan (dari atas ke bawah): –Contoh pelaporan –Tekanan bos –Analisis / statistik yang kurang baik– Pengulangan eksperimen yang tidak mencukupi di makmal –Penyeliaan yang tidak mencukupi –Kurangnya kaedah atau kod –Reka bentuk eksperimen yang buruk –Kurangnya data mentah dari makmal utama –Palsu –Pengesahan yang tidak mencukupi oleh pakar / pengulas - Masalah dengan percubaan untuk menghasilkan semula - Kepakaran teknikal diperlukan untuk menghasilkan semula - Kebolehubahan reagen standard - "Neddachka dan Pichalka"
Apa nak buat?
Dari 1,500 yang disurvei, lebih dari 1.000 pakar memberi sokongan untuk meningkatkan statistik dalam mengumpulkan dan memproses data, meningkatkan kualiti pengawasan oleh bos, dan merancang eksperimen yang lebih ketat.
S: Faktor apa yang akan membantu meningkatkan kebolehulangan?
Jawapan (dari atas ke bawah): - Pengertian statistik yang lebih baik - Pengawasan yang lebih ketat - Reka bentuk eksperimen yang lebih baik - Latihan - Kajian makmal dalaman - Kemahiran praktikal yang ditingkatkan - Mendorong pemeriksaan silang data formal - Tinjauan antara kerja - Memperuntukkan lebih banyak masa untuk pengurusan projek - Meningkatkan standard jurnal saintifik - Memperuntukkan lebih banyak masa untuk bekerja dengan rekod makmal
Kesimpulan dan beberapa pengalaman peribadi
Pertama, walaupun bagi saya, sebagai saintis, hasilnya sangat mengejutkan, walaupun saya sudah terbiasa dengan tahap hasil yang tidak dapat dihasilkan. Ini jelas terbukti dalam karya-karya yang dilakukan oleh orang Cina dan India tanpa "audit" pihak ketiga dalam bentuk profesor Amerika / Eropah. Ada baiknya masalah itu diakui dan difikirkan penyelesaiannya. Saya dengan bijaksana akan berdiam diri mengenai sains Rusia, kerana skandal baru-baru ini, walaupun banyak jujur melakukan tugas mereka.
Kedua, artikel itu mengabaikan (atau lebih tepatnya, tidak mempertimbangkan) peranan metrik ilmiah dan jurnal ilmiah yang dikaji oleh rakan sebaya dalam kemunculan dan pengembangan masalah ketidakboleh hasil hasil penyelidikan. Dalam mengejar kepantasan dan frekuensi penerbitan (baca, peningkatan indeks kutipan), kualitinya turun dengan mendadak dan tidak ada waktu untuk pengesahan tambahan hasilnya.
Seperti yang mereka katakan, semua watak adalah rekaan, tetapi berdasarkan peristiwa sebenar. Entah bagaimana satu pelajar berpeluang untuk mengulas artikel, kerana tidak setiap profesor mempunyai masa dan tenaga untuk membaca artikel itu dengan teliti, sehingga pendapat 2-3-4 pelajar dan doktor dikumpulkan, dari mana tinjauan dibuat. Tinjauan ditulis, ia menunjukkan hasil yang tidak dapat dihasilkan menurut kaedah yang dijelaskan dalam artikel. Ini ditunjukkan dengan jelas kepada guru besar. Tetapi agar tidak merosakkan hubungan dengan "rakan sekerja" - bagaimanapun, mereka berjaya dalam segalanya - kajian itu "diperbetulkan". Dan ada 2 atau 3 artikel yang diterbitkan.
Ia ternyata lingkaran setan. Ilmuwan itu menghantar artikel itu kepada editor jurnal, di mana ia menunjukkan pengulas “yang diinginkan” dan yang paling penting, “pengulas yang tidak diinginkan”, yang sebenarnya, hanya meninggalkan mereka yang positif terhadap pasukan pengarang. Mereka meninjau karya itu, tetapi mereka tidak dapat "membuang komentar" dan berusaha memilih yang lebih rendah dari dua kejahatan - berikut adalah senarai pertanyaan yang perlu dijawab, dan kemudian kami akan menerbitkan artikel tersebut.
Contoh lain, yang dibincangkan oleh editor Nature sebulan yang lalu, adalah panel solar Grazel. Oleh kerana minat yang sangat besar dalam topik ini dalam komuniti saintifik (bagaimanapun, mereka masih mahukan artikel di Nature!), Para editor harus membuat soal selidik khas di mana mereka perlu menunjukkan banyak parameter, memberikan penentukuran peralatan, sijil, dll., Untuk mengesahkan bahawa kaedah untuk mengukur kecekapan panel mematuhi beberapa prinsip dan standard umum.
Dan, ketiga, apabila sekali lagi anda mendengar tentang vaksin keajaiban yang menaklukkan segalanya dan semua orang, kisah baru mengenai Pekerjaan dalam skirt, bateri baru atau bahaya / faedah GMO atau radiasi telefon pintar, terutama jika ia dipromosikan oleh penulis kuning dari kewartawanan, maka fahamlah dan jangan sampai membuat kesimpulan. Tunggu pengesahan hasil oleh kumpulan saintis lain, pengumpulan susunan dan sampel data.
