Đánh giá nghiên cứu khoa học: không nên
chỉ căn cứ vào số lượng ấn phẩm!
Dự thảo Qui định về việc đánh giá kết quả nghiên cứu
khoa học cơ bản (Tia Sáng 4/5/2007 [1]) là một bước tiến cần
thiết và đáng hoan nghênh để đưa khoa học Việt Nam hội nhập
quốc tế. Nhưng Dự thảo có xu hướng quá đặt nặng vào số lượng
ấn phẩm khoa học xuất bản với những thang điểm cụ thể, tôi e
rằng thiếu tính hợp lí và cần nên xem xét lại. Tôi đề nghị
nên xem xét đến chất lượng nghiên cứu và các tiêu chí khác.
Tuy rằng số lượng ấn phẩm khoa học là một tiêu chí quan
trọng số một trong việc đánh giá năng suất và thành tựu của
một nhà khoa học [2], nhưng trong thực tế ấn phẩm khoa học
thường xuất hiện dưới nhiều dạng, và chúng không có giá trị
giống nhau [3]. Chẳng hạn như một bài báo nghiên cứu gốc
(original paper) chắc chắn phải có giá trị cao hơn một bài
bình luận hay một bài điểm báo (review). Do đó, cần phải
phân biệt các loại ấn phẩm khoa học rõ ràng, chứ không nên
gói gọn trong những tên gọi chung chung như “quốc tế” hay
“quốc gia”.
Dự thảo đề nghị tính điểm công trình công bố trên các tạp
chí quốc tế và báo cáo đăng kí poster tương đương nhau (5
điểm), theo tôi, là không hợp lí. Trong các hội nghị khoa
học quốc tế ngày nay, các báo cáo được xếp hạng từ cao đến
thấp như sau: những bài nói chuyện được mời (invited
lecture), những báo cáo bằng miệng (oral presentation), rồi
mới đến những báo cáo bằng poster. Chẳng hạn như trong các
hội nghị y khoa quốc tế (với hơn 2000 báo cáo), chỉ có 5-10
báo cáo được mời, 5 đến 10% báo cáo được hội đồng khoa học
tuyển chọn cho trình bày bằng miệng, và phần còn lại 90 đến
95% là báo cáo poster. Do đó, ở các đại học Tây phương, khi
xem xét đề bạt giáo sư hay nhà nghiên cứu, không một hội
đồng nào tính đến các báo cáo trong hội nghị, nhất là báo
cáo dạng poster.
Thật ra, rất khó để có những thang điểm cụ thể
như Dự thảo đề ra, vì một ấn phẩm khoa học không thể đánh
giá đơn giản bằng … điểm. Chẳng hạn như làm sao chúng ta
biết một bài điểm báo (review) có giá trị hơn một chương
sách, dù cả hai đều phải tốn nhiều thì giờ và công sức để
viết, và phải là nhà khoa học có uy tín mới được mời viết.
Hay một bài xã luận trên một tạp chí (cũng phải là nhà khoa
học có tiếng mới được mời viết) không được xem có giá trị
bằng một bài báo gốc (original paper). Ngoài ra, phải tính
điểm như thế nào cho những công trình nghiên cứu với nhiều
tác giả (nghiên cứu y sinh học ngày nay không thể nào thực
hiện bởi một tác giả) [4]. Khó khăn thứ hai là lấy cái
chuẩn nào (hay mô hình nào) để lập ra một thang điểm cho một
bài báo? Nếu không có cơ sở khoa học cho các thang điểm,
tôi e rằng Dự thảo sẽ không mang tính thuyết phục. Tuy
nhiên, nếu thật sự chúng ta cần một thang điểm, tôi đề nghị
nên xem qua thang điểm của các đại học khác để tham khảo
[5]. Tôi trình bày thang điểm dưới đây chỉ để tham khảo,
chứ cá nhân tôi cũng dè dặt vì không thoải mái khi không
biết cơ sở tính toán ra sao.
Con số ấn phẩm khoa học tuy quan trọng, nhưng nó
không phản ảnh được một khía cạnh quan trọng hơn: đó là chất
lượng. Một nhà khoa học có thể có hàng trăm công trình được
công bố trên những tạp chí “xoàng” hay ít được ai trích dẫn,
thì các công trình đó không thể được xem là có chất lượng
cao. Nói đến chất lượng nghiên cứu là nói đến sáng kiến mới
liên quan đến ý tưởng, phương pháp, phân tích, và cách diễn
dịch, thậm chí cách trình bày một nghiên cứu. Một công
trình nghiên cứu có chất lượng cao phải là một công trình có
ý tưởng độc đáo, hay một phương pháp độc đáo, hay một cách
diễn dịch mới cho một vấn đề cũ.
Chất lượng ấn phẩm khoa học rất khác nhau, không chỉ giữa
các tạp chí, mà ngay trong cùng một tạp chí. Hiện nay, có
hơn 108.000 tạp chí khoa học trên thế giới với đủ thứ chất
lượng “thượng vàng hạ cám”. Con số này chưa kể đến các tạp
chí trực tuyến (online journals). Do đó, một công trình
nghiên cứu dù có chất lượng thấp cỡ nào đi nữa, và nếu tác
giả kiên trì theo đuổi, thì công trình sẽ được in trong một
tạp chí nào đó, cũng có thể mang tiếng “tạp chí quốc tế”.
(Thật ra, định nghĩa thế nào là một tạp chí quốc tế cũng
không dễ, nhưng hiện nay, người ta hiểu ngầm rằng cụm từ này
chỉ các tạp chí ở Mĩ và Âu châu).
Chất lượng một bài báo khoa học hay một công
trình nghiên cứu thường được đánh giá qua hai chỉ tiêu: hệ
số ảnh hưởng (còn gọi là impact factor), và số lần trích dẫn
(citation). Theo định nghĩa được công nhận, hệ số ảnh hưởng
là số lần trích dẫn hay tham khảo trung bình các bài báo mà
tạp chí đã công bố hai năm trước [6]. Do đó, những công
trình nghiên cứu được công bố trên các tạp chí có hệ số ảnh
hưởng cao cũng có thể đồng nghĩa với chất lượng cao của công
trình nghiên cứu. Chẳng hạn như một nghiên cứu được công bố
trên các tạp chí như Science, Nature, Cell, PNAS, New
England Journal of Medicine, Lancet, Physical Review, v.v…
chắc chắn phải có chất lượng cao hơn các nghiên cứu công
bố trên các tạp chí ở Á châu, Âu châu hay tạp chí chuyên
ngành ở Mĩ. Tuy nhiên, hệ số ảnh hưởng của
tạp chí cũng tùy thuộc vào bộ môn khoa học (chẳng hạn như
các tập san thuộc bộ môn khoa học thực nghiệm thường có hệ
số tác dụng cao hơn các tập san trong các ngành khoa học tự
nhiên và toán học).
Nhưng hệ số ảnh hưởng chỉ phản ánh uy tín
của tạp chí chứ không hẳn phản ảnh chất lượng của một bài
báo cụ thể. Vì thế, một cách
đánh giá chất lượng khác công bằng hơn là tính số lần các
nhà khoa học khác trích dẫn bài báo mà nhà khoa học đã công
bố. Có thể nói ví von rằng số lần trích dẫn là âm vang của
một công trình nghiên cứu. Tần số trích dẫn càng cao thì
giá trị của công trình và uy danh nhà khoa học càng cao
theo.
Số lần trích dẫn bao nhiêu là cao? Không có
câu trả lời cụ thể cho câu hỏi này, nhưng theo phân tích của
Viện khoa học thông tin (ISI), trong tất cả các bài báo khoa
học công bố trên thế giới, có khoảng 55% không bao giờ được
ai (kể cả chính tác giả) trích dẫn hay tham khảo sau 5 năm
công bố [7]! Trong các ngành như kĩ thuật tần số không
trích dẫn lên đến 70%. Ngay cả được trích dẫn và tham khảo,
con số cũng rất khiêm tốn : chỉ có trên dưới 1% bài báo khoa
học được trích dẫn hơn 6 lần mà thôi (trong vòng 5 năm). Do
đó, có người đề nghị là một bài báo được trích dẫn một cách
độc lập (tức không phải chính tác giả tự trích dẫn) hơn 5
lần được xem là "có ảnh hưởng". Những công trình có ảnh
hưởng lớn thường có số lần trích dẫn 100 lần trở lên.
Câu hỏi đặt ra là hệ số ảnh
hưởng và số lần trích dẫn có thật sự phản ảnh chất lượng
khoa học? Câu trả lời ngắn là "có". Trong một nghiên cứu
về lí do trích dẫn, các nhà khoa học trình bày những lí do
sau đây [8]: (a) ghi nhận công trạng của tác giả ; (b) kính
trọng tác giả ; (c) phương pháp liên quan ; (d) bài báo cung
cấp thông tin nền có ích ; (e) trích dẫn để phê bình hay
phản nghiệm ; và (f) trích dẫn để làm cơ sở cho các phát
biểu trong bài báo. Ngoài ra, một nghiên cứu trong thập
niên 1970s về tần số trích dẫn các nghiên cứu công bố trước
khi các nhà khoa học được trao giải Nobel cho thấy tính
trung bình, số lần trích dẫn là 62 (so với tần số trung bình
của tất cả các nhà khoa học là 6 lần). Do đó, dù có vài
biệt lệ và khiếm khuyết, số lần trích dẫn và hệ số ảnh hưởng
của tạp chí phản ảnh chất lượng nghiên cứu.
Số lượng ấn phẩm khoa học của
một cá nhân phản ảnh một phần tính siêng năng (hay lười
biếng), nhưng tần số trích dẫn và tạp chí cho chúng ta biết
uy tín, năng lực và phẩm chất của nhà khoa học. Cũng như
trong chẩn đoán bệnh tật không thể chỉ dựa vào vài đo lường
và xét nghiệm, hoạt động khoa học và khoa bảng không thể
đánh giá bằng những "cân, đo, đong, đếm". Các tiêu chí vừa
nêu chỉ là những giá trị tham chiếu, chứ không phải là những
thước đo chính xác để thẩm định năng suất và khả năng của
một nhà khoa học. Trong thực tế, năng suất và chất lượng
khoa học còn được phản ảnh qua các "tiêu chí" gián tiếp
như : giải thưởng cấp quốc gia và quốc tế, bằng chứng về
đóng góp cho chuyên ngành cấp quốc gia và quốc tế, sự công
nhận của đồng nghiệp quốc tế (qua việc được mời nói chuyện
hay chủ tọa các phiên hội thảo chuyên ngành), giảng dạy, khả
năng thu hút tài trợ cho nghiên cứu, khả năng thu hút nghiên
cứu sinh và hậu tiến sĩ (postdoc), cống hiến cho cộng đồng
và Nhà nước, v.v... [5].
Nói tóm lại, tôi đề nghị nên cẩn
thận rà soát lại bản Dự thảo Qui định về việc đánh giá kết
quả nghiên cứu khoa học, nhất là nên xem chất lượng nghiên
cứu như là một trong những tiêu chí quan trọng. Ngoài ra,
cũng nên tham khảo các thang điểm nước ngoài và các tiêu chí
gián tiếp khác để nâng cao tính khách quan (và hi vọng là
công bằng hơn) cho các nhà khoa học.
Chú thích và tài liệu tham khảo:
[1] Theo Dự thảo,
các tiêu chí đánh giá đề tài nghiên cứu khoa học cơ bản như
sau :
“Sản phẩm” khoa
học |
Điểm |
Công trình công bố
trên các tạp chí khoa học quốc tế
-
Loại 1 (có tên trong danh sách SCI do ISI
công bố)
-
Loại 2 (các tạp chí quốc tế khác) |
5
2 |
Công trình công bố
trên các tạp chí khoa học quốc gia
-
Loại 1
-
Loại 2 |
3
1 |
Báo cáo chính tại
các hội nghị khoa học
-
Quốc tế
-
Quốc gia |
3
1 |
Báo cáo đăng kí
(poster) tại các hội nghị
-
Quốc tế
-
Quốc gia |
5
1 |
Sách chuyên khảo đã
xuất bản |
2 |
Kết quả ứng dụng
(nếu có) |
3 |
Ngoài vấn đề bất
hợp trong việc cho điểm (chẳng hạn như một công trình công
bố trên các tạp chí quốc tế có điểm bằng với một poster
trình bày trong một hội nghị quốc tế), có thể nói các thang
điểm trên đây chưa mấy rõ ràng. Chẳng hạn như nếu một hội
nghị quốc tế tổ chức ở Việt Nam thì báo cáo ở đó chưa rõ số
điểm sẽ tính thế nào. Ngoài ra, rất khó mà định nghĩa thế
nào là "sách chuyên khảo".
[2] Ở Mĩ, trong
lĩnh vực y sinh học, các trường đại học qui định cụ thể về
số lượng bài báo cần thiết để được đề bạt giáo sư.
Chẳng hạn như ở trường Đại
học Duke, ngoài các tiêu chuẩn khác, một assistant professor
(tức “giáo sư dự khuyết”) phải có ít nhất là 3 bài báo khoa
học; một associate professor (phó giáo sư) phải có ít nhất
15 bài báo khoa học (trong số này ít nhất 5 bài phải là tác
giả đầu hay tác giả chịu trách nhiệm); và giáo sư phải có ít
nhất là 50 bài báo (trong số này ít nhất là 15 bài đứng tên
tác giả đầu hay tác giả chịu trách nhiệm). Ở Úc, một phó
giáo sư thường phải có ít nhất là 50 bài báo khoa học, và
giáo sư thường thường là tác giả của trên 100 bài báo khoa
học.
[3] Xem bài “Thế nào là một
bài báo khoa học” của tôi đăng trên Tia Sáng số tháng
12/2005.
[4] Trong khoa học thực
nghiệm ngày nay, một công trình nghiên cứu trung bình cũng
phải có đến 5 tác giả; một công trình qui mô như tìm gien
chẳng hạn có khi có đến 100 tác giả thuộc nhiều nhóm trên
thế giới. Vấn đề tính điểm cho các tác giả trong các công
trình đó không đơn giản chút nào, vì còn tùy thuộc vào đóng
góp của từng cá nhân tác giả: có người chỉ cung cấp bệnh
nhân, có người đóng góp về phương pháp, có người đóng góp
treong phân tích dữ liệu, có người lãnh đạo, thậm chí có
người là “tác giả dỏm” (tức chẳng có đóng góp gì xứng đáng
nhưng vì có “quan hệ chính trị” với nhóm nghiên cứu hay có
tên tuổi nên được cho vào danh sách tác giả), đó là chưa kể
hiện tượng “tác giả ma” (ghost authorship). Đó là chưa kể
đến những khó khăn về vị trí của tác giả trong bài báo.
Trong y khoa, tác giả đứng tên sau cùng có thể là tác giả
chính hay “sếp” của bài báo (chứ không phải là người có đóng
góp ít nhất)! Ở các nước Tây phương, khi xem xét đề bạt,
hội đồng khoa học thường yêu cầu ứng viên giải trình chính
xác vai trò của mình trong công trình nghiên cứu, chứ không
chỉ đơn giản có tên trong bài báo.
[5] Tôi có hỏi một người
bạn Mĩ, hiện là giáo sư y khoa tại một trường đại học lớn ở
Trung Đông, và được cho biết nhiều đại học ở Trung Đông áp
dụng các thang điểm sau đây để đề bạt giáo sư. Theo thang
điểm này, để được đề bạt phó giáo sư, ứng viên phải có ít
nhất là 70 điểm; và ứng viên giáo sư phải có ít nhất 150
điểm. Các điểm được tính tổng hợp từ các tiêu chuẩn chính
như sau:
Hoạt động chính |
Điểm |
Nghiên cứu đăng trên
các tạp chí trong danh sách SCI, SSCI, AHCI (*) |
20 |
Nghiên cứu đăng trên
các tạp chí được công nhận ở trong nước (*) |
10 |
Thư bình luận, báo
cáo trường hợp (case report), điểm sách, bình luận
về kĩ thuật (technical comment), v.v… trên các tạp
chí thuộc SCI, SSCI, AHCI |
6 |
Một chương sách do
các nhà xuất bản quốc tế xuất bản (**) |
10 – 15 |
Một chương sách do
các nhà xuất bản nội địa xuất bản (**) |
6 – 8 |
Biên soạn sách do
các nhà xuất bản quốc tế xuất bản |
40 |
Biên soạn sách do
các nhà xuất bản nội địa xuất bản |
20 |
Biên tập sách do các
nhà xuất bản quốc tế xuất bản |
15 |
Biên tập sách do các
nhà xuất bản nội địa xuất bản |
5 |
Bài báo trong các
hội nghị quốc tế (conference paper - international) |
6 |
Bài báo trong các
hội nghị quốc gia (conference paper – national) |
|
Tóm tắt (abstract)
trong các hội nghị quốc tế |
2 |
Tóm tắt (abstract)
trong các hội nghị quốc gia |
1 |
Dịch sách in ờ nước
ngoài |
6 |
Dịch sách từ nước
ngoài in trong nước |
1 |
Được giải thưởng từ
các hội đoàn chuyên môn quốc tế |
10 – 40 |
Được giải thưởng từ
các hội đoàn chuyên môn quốc gia |
5 – 20 |
Thành viên trong ban
xét trao tặng giải thưởng quốc tế |
2 – 10 |
Bình duyệt bài báo
cho các tập san quốc tế |
1 |
Bình duyệt bài báo
cho các tập san quốc gia |
0,5 |
Bình duyệt sách cho
các nhà xuất bản quốc tế |
10 |
Bình duyệt sách cho
các nhà xuất bản nội địa |
5 |
Hướng dẫn chính luận
án tiến sĩ |
6 |
Hướng dẫn phụ luận
án tiến sĩ |
2 |
Hướng dẫn chính luận
án thạc sĩ |
3 |
Hướng dẫn phụ luận
án thạc sĩ |
1 |
Phát triển course
học mới |
6 |
Thành viên ban tổ
chức hội nghị quốc tế |
15 |
Thành viên ban tổ
chức hội nghị quốc gia |
6 |
Thành viên trong ban
biên tập tạp chí quốc tế |
5 – 10 |
Thành viên trong ban
biên tập tạp chí quốc gia |
1– 5 |
(*) Nếu bài báo có 2 tác
giả, số điểm sẽ được tính bằng 0,8*điểm; nếu có hơn 2 tác
giả, số điểm là: 1,8×điểm/n (trong đó, n là số
tác giả).
(**) Nếu tác giả đóng góp
hơn 1 chương sách trong sách, tổng số điểm là (1+k/c)×điểm
(trong đó, k là số chương sách, c là tổng số
chương trong sách).
[6]
Garfield E.
The impact factor [internet] Current Contents 1994 20;3-7
(cited 16 August 2002).
Cách tính hệ số ảnh hưởng
của ISI rất đơn giản, và có thể minh họa bằng một ví dụ cụ
thể như sau: Chẳng hạn như trong 2 năm 1981 và 1982, Tập san
Lancet công bố 470 bài báo khoa học gốc (original
papers); trong năm 1983 có 10.011 bài báo khác trên các tất
cả các tập san (kể cả Lancet) có tham khảo hay trích
dẫn đến 470 bài báo đó; và hệ số ảnh hưởng là: 10.011 / 470
= 21,3. Nói cách khác, tính trung bình mỗi bài báo gốc trên
tạp chí Lancet có khoảng 21 lần được tham khảo đến
hay trích dẫn. Hệ số ảnh hưởng cũng không phải là một chỉ
số hoàn hảo phản ảnh chất lượng, nhưng cho đến nay vẫn chưa
có chỉ số nào tốt hơn, cho nên giới khoa học vẫn phải sử
dụng hệ số ảnh hưởng cho việc đề bạt giáo sư, tài trợ nghiên
cứu, và đánh giá uy tín của một nhà khoa học. Ở Úc, khi ứng
viên xin được đề bạt, ngoài danh sách bài báo khoa học, ứng
viên còn phải cung cấp hệ số ảnh hưởng của tạp và số lần
trích dẫn cho mỗi bài báo.
[7]
Phelan TJ. A compendium of
issues for citation analysis. Scientometrics 1999;
45:117-36.
Theo một nghiên
cứu khác, có đến 90% các bài báo khoa học công bố không bao
giờ được trích dẫn hay tham khảo (xem L. I. Meho, The rise
and rise of citation analysis, Physics World). Tuy
nhiên, tôi nghĩ con số 90% này được tính cả những bản tóm
tắt (abstract) trong các hội nghị và các conference papers.
Do đó, con số 55% chính xác hơn.
[8] Lawani SM. Citation
analysis and the quality of scientific productivity.
BioScience 1977; 27:26-31. Trong phân tích này, người ta
thấy các công trình của Albert Eistein được trích dẫn 346
lần trong năm 1974. |