Đánh giá nghiên cứu khoa học

Vietsciences-Nguyễn Văn Tuấn    04/07/2007    
 

Những bài cùng tác giả

Đánh giá nghiên cứu khoa học: không nên chỉ căn cứ vào số lượng ấn phẩm!

Dự thảo Qui định về việc đánh giá kết quả nghiên cứu khoa học cơ bản (Tia Sáng 4/5/2007 [1]) là một bước tiến cần thiết và đáng hoan nghênh để đưa khoa học Việt Nam hội nhập quốc tế. Nhưng Dự thảo có xu hướng quá đặt nặng vào số lượng ấn phẩm khoa học xuất bản với những thang điểm cụ thể, tôi e rằng thiếu tính hợp lí và cần nên xem xét lại. Tôi đề nghị nên xem xét đến chất lượng nghiên cứu và các tiêu chí khác.

 

Tuy rằng số lượng ấn phẩm khoa học là một tiêu chí quan trọng số một trong việc đánh giá năng suất và thành tựu của một nhà khoa học [2], nhưng trong thực tế ấn phẩm khoa học thường xuất hiện dưới nhiều dạng, và chúng không có giá trị giống nhau [3].  Chẳng hạn như một bài báo nghiên cứu gốc (original paper) chắc chắn phải có giá trị cao hơn một bài bình luận hay một bài điểm báo (review).  Do đó, cần phải phân biệt các loại ấn phẩm khoa học rõ ràng, chứ không nên gói gọn trong những tên gọi chung chung như “quốc tế” hay “quốc gia”.

 

Dự thảo đề nghị tính điểm công trình công bố trên các tạp chí quốc tế và báo cáo đăng kí poster tương đương nhau (5 điểm), theo tôi, là không hợp lí.  Trong các hội nghị khoa học quốc tế ngày nay, các báo cáo được xếp hạng từ cao đến thấp như sau: những bài nói chuyện được mời (invited lecture), những báo cáo bằng miệng (oral presentation), rồi mới đến những báo cáo bằng poster.  Chẳng hạn như trong các hội nghị y khoa quốc tế (với hơn 2000 báo cáo), chỉ có 5-10 báo cáo được mời, 5 đến 10% báo cáo được hội đồng khoa học tuyển chọn cho trình bày bằng miệng, và phần còn lại 90 đến 95% là báo cáo poster.  Do đó, ở các đại học Tây phương, khi xem xét đề bạt giáo sư hay nhà nghiên cứu, không một hội đồng nào tính đến các báo cáo trong hội nghị, nhất là báo cáo dạng poster.

 

            Thật ra, rất khó để có những thang điểm cụ thể như Dự thảo đề ra, vì một ấn phẩm khoa học không thể đánh giá đơn giản bằng … điểm.  Chẳng hạn như làm sao chúng ta biết một bài điểm báo (review) có giá trị hơn một chương sách, dù cả hai đều phải tốn nhiều thì giờ và công sức để viết, và phải là nhà khoa học có uy tín mới được mời viết.  Hay một bài xã luận trên một tạp chí (cũng phải là nhà khoa học có tiếng mới được mời viết) không được xem có giá trị bằng một bài báo gốc (original paper).  Ngoài ra, phải tính điểm như thế nào cho những công trình nghiên cứu với nhiều tác giả (nghiên cứu y sinh học ngày nay không thể nào thực hiện bởi một tác giả) [4].  Khó khăn thứ hai là lấy cái chuẩn nào (hay mô hình nào) để lập ra một thang điểm cho một bài báo?  Nếu không có cơ sở khoa học cho các thang điểm, tôi e rằng Dự thảo sẽ không mang tính thuyết phục.  Tuy nhiên, nếu thật sự chúng ta cần một thang điểm, tôi đề nghị nên xem qua thang điểm của các đại học khác để tham khảo [5].  Tôi trình bày thang điểm dưới đây chỉ để tham khảo, chứ cá nhân tôi cũng dè dặt vì không thoải mái khi không biết cơ sở tính toán ra sao.

 

            Con số ấn phẩm khoa học tuy quan trọng, nhưng nó không phản ảnh được một khía cạnh quan trọng hơn: đó là chất lượng.  Một nhà khoa học có thể có hàng trăm công trình được công bố trên những tạp chí “xoàng” hay ít được ai trích dẫn, thì các công trình đó không thể được xem là có chất lượng cao.  Nói đến chất lượng nghiên cứu là nói đến sáng kiến mới liên quan đến ý tưởng, phương pháp, phân tích, và cách diễn dịch, thậm chí cách trình bày một nghiên cứu.  Một công trình nghiên cứu có chất lượng cao phải là một công trình có ý tưởng độc đáo, hay một phương pháp độc đáo, hay một cách diễn dịch mới cho một vấn đề cũ. 

 

Chất lượng ấn phẩm khoa học rất khác nhau, không chỉ giữa các tạp chí, mà ngay trong cùng một tạp chí.  Hiện nay, có hơn 108.000 tạp chí khoa học trên thế giới với đủ thứ chất lượng “thượng vàng hạ cám”.  Con số này chưa kể đến các tạp chí trực tuyến (online journals).  Do đó, một công trình nghiên cứu dù có chất lượng thấp cỡ nào đi nữa, và nếu tác giả kiên trì theo đuổi, thì công trình sẽ được in trong một tạp chí nào đó, cũng có thể mang tiếng “tạp chí quốc tế”.  (Thật ra, định nghĩa thế nào là một tạp chí quốc tế cũng không dễ, nhưng hiện nay, người ta hiểu ngầm rằng cụm từ này chỉ các tạp chí ở Mĩ và Âu châu).

 

            Chất lượng một bài báo khoa học hay một công trình nghiên cứu thường được đánh giá qua hai chỉ tiêu: hệ số ảnh hưởng (còn gọi là impact factor), và số lần trích dẫn (citation).  Theo định nghĩa được công nhận, hệ số ảnh hưởng là số lần trích dẫn hay tham khảo trung bình các bài báo mà tạp chí đã công bố hai năm trước [6].  Do đó, những công trình nghiên cứu được công bố trên các tạp chí có hệ số ảnh hưởng cao cũng có thể đồng nghĩa với chất lượng cao của công trình nghiên cứu.  Chẳng hạn như một nghiên cứu được công bố trên các tạp chí như Science, Nature, Cell, PNAS, New England Journal of Medicine, Lancet, Physical Review, v.v… chắc chắn phải có chất lượng cao hơn các nghiên cứu công bố trên các tạp chí ở Á châu, Âu châu hay tạp chí chuyên ngành ở Mĩ. Tuy nhiên, hệ số ảnh hưởng của tạp chí cũng tùy thuộc vào bộ môn khoa học (chẳng hạn như các tập san thuộc bộ môn khoa học thực nghiệm thường có hệ số tác dụng cao hơn các tập san trong các ngành khoa học tự nhiên và toán học). 

 

Nhưng hệ số ảnh hưởng chỉ phản ánh uy tín của tạp chí chứ không hẳn phản ảnh chất lượng của một bài báo cụ thể.  Vì thế, một cách đánh giá chất lượng khác công bằng hơn là tính số lần các nhà khoa học khác trích dẫn bài báo mà nhà khoa học đã công bố.  Có thể nói ví von rằng số lần trích dẫn là âm vang của một công trình nghiên cứu.  Tần số trích dẫn càng cao thì giá trị của công trình và uy danh nhà khoa học càng cao theo. 

 

Số lần trích dẫn bao nhiêu là cao?  Không có câu trả lời cụ thể cho câu hỏi này, nhưng theo phân tích của Viện khoa học thông tin (ISI), trong tất cả các bài báo khoa học công bố trên thế giới, có khoảng 55% không bao giờ được ai (kể cả chính tác giả) trích dẫn hay tham khảo sau 5 năm công bố [7]!  Trong các ngành như kĩ thuật tần số không trích dẫn lên đến 70%.  Ngay cả được trích dẫn và tham khảo, con số cũng rất khiêm tốn : chỉ có trên dưới 1% bài báo khoa học được trích dẫn hơn 6 lần mà thôi (trong vòng 5 năm).  Do đó, có người đề nghị là một bài báo được trích dẫn một cách độc lập (tức không phải chính tác giả tự trích dẫn) hơn 5 lần được xem là "có ảnh hưởng".  Những công trình có ảnh hưởng lớn thường có số lần trích dẫn 100 lần trở lên.

 

            Câu hỏi đặt ra là hệ số ảnh hưởng và số lần trích dẫn có thật sự phản ảnh chất lượng khoa học?  Câu trả lời ngắn là "có".  Trong một nghiên cứu về lí do trích dẫn, các nhà khoa học trình bày những lí do sau đây [8]: (a) ghi nhận công trạng của tác giả ; (b) kính trọng tác giả ; (c) phương pháp liên quan ; (d) bài báo cung cấp thông tin nền có ích ; (e) trích dẫn để phê bình hay phản nghiệm ; và (f) trích dẫn để làm cơ sở cho các phát biểu trong bài báo.  Ngoài ra, một nghiên cứu trong thập niên 1970s về tần số trích dẫn các nghiên cứu công bố trước khi các nhà khoa học được trao giải Nobel cho thấy tính trung bình, số lần trích dẫn là 62 (so với tần số trung bình của tất cả các nhà khoa học là 6 lần).  Do đó, dù có vài biệt lệ và khiếm khuyết, số lần trích dẫn và hệ số ảnh hưởng của tạp chí phản ảnh chất lượng nghiên cứu.

 

            Số lượng ấn phẩm khoa học của một cá nhân phản ảnh một phần tính siêng năng (hay lười biếng), nhưng tần số trích dẫn và tạp chí cho chúng ta biết uy tín, năng lực và phẩm chất của nhà khoa học.  Cũng như trong chẩn đoán bệnh tật không thể chỉ dựa vào vài đo lường và xét nghiệm, hoạt động khoa học và khoa bảng không thể đánh giá bằng những "cân, đo, đong, đếm".  Các tiêu chí vừa nêu chỉ là những giá trị tham chiếu, chứ không phải là những thước đo chính xác để thẩm định năng suất và khả năng của một nhà khoa học.  Trong thực tế, năng suất và chất lượng khoa học còn được phản ảnh qua các "tiêu chí" gián tiếp như : giải thưởng cấp quốc gia và quốc tế, bằng chứng về đóng góp cho chuyên ngành cấp quốc gia và quốc tế, sự công nhận của đồng nghiệp quốc tế (qua việc được mời nói chuyện hay chủ tọa các phiên hội thảo chuyên ngành), giảng dạy, khả năng thu hút tài trợ cho nghiên cứu, khả năng thu hút nghiên cứu sinh và hậu tiến sĩ (postdoc), cống hiến cho cộng đồng và Nhà nước, v.v... [5].

 

            Nói tóm lại, tôi đề nghị nên cẩn thận rà soát lại bản Dự thảo Qui định về việc đánh giá kết quả nghiên cứu khoa học, nhất là nên xem chất lượng nghiên cứu như là một trong những tiêu chí quan trọng.  Ngoài ra, cũng nên tham khảo các thang điểm nước ngoài và các tiêu chí gián tiếp khác để nâng cao tính khách quan (và hi vọng là công bằng hơn) cho các nhà khoa học.

 

 

Chú thích và tài liệu tham khảo:

 

[1] Theo Dự thảo, các tiêu chí đánh giá đề tài nghiên cứu khoa học cơ bản như sau :

 

 

“Sản phẩm” khoa học Điểm

Công trình công bố trên các tạp chí khoa học quốc tế

-          Loại 1 (có tên trong danh sách SCI do ISI công bố)

-          Loại 2 (các tạp chí quốc tế khác)

 

5

2

Công trình công bố trên các tạp chí khoa học quốc gia

-          Loại 1

-          Loại 2

 

3

1

Báo cáo chính tại các hội nghị khoa học

-          Quốc tế

-          Quốc gia

 

3

1

Báo cáo đăng kí (poster) tại các hội nghị

-          Quốc tế

-          Quốc gia

 

5

1

Sách chuyên khảo đã xuất bản 2
Kết quả ứng dụng (nếu có) 3

 

Ngoài vấn đề bất hợp trong việc cho điểm (chẳng hạn như một công trình công bố trên các tạp chí quốc tế có điểm bằng với một poster trình bày trong một hội nghị quốc tế), có thể nói các thang điểm trên đây chưa mấy rõ ràng.  Chẳng hạn như nếu một hội nghị quốc tế tổ chức ở Việt Nam thì báo cáo ở đó chưa rõ số điểm sẽ tính thế nào.  Ngoài ra, rất khó mà định nghĩa thế nào là "sách chuyên khảo". 

 

[2]  Ở Mĩ, trong lĩnh vực y sinh học, các trường đại học qui định cụ thể về số lượng bài báo cần thiết để được đề bạt giáo sư.  Chẳng hạn như ở trường Đại học Duke, ngoài các tiêu chuẩn khác, một assistant professor (tức “giáo sư dự khuyết”) phải có ít nhất là 3 bài báo khoa học; một associate professor (phó giáo sư) phải có ít nhất 15 bài báo khoa học (trong số này ít nhất 5 bài phải là tác giả đầu hay tác giả chịu trách nhiệm); và giáo sư phải có ít nhất là 50 bài báo (trong số này ít nhất là 15 bài đứng tên tác giả đầu hay tác giả chịu trách nhiệm).  Ở Úc, một phó giáo sư thường phải có ít nhất là 50 bài báo khoa học, và giáo sư thường thường là tác giả của trên 100 bài báo khoa học.

 

[3]  Xem bài “Thế nào là một bài báo khoa học” của tôi đăng trên Tia Sáng số tháng 12/2005.

 

[4]  Trong khoa học thực nghiệm ngày nay, một công trình nghiên cứu trung bình cũng phải có đến 5 tác giả; một công trình qui mô như tìm gien chẳng hạn có khi có đến 100 tác giả thuộc nhiều nhóm trên thế giới.  Vấn đề tính điểm cho các tác giả trong các công trình đó không đơn giản chút nào, vì còn tùy thuộc vào đóng góp của từng cá nhân tác giả: có người chỉ cung cấp bệnh nhân, có người đóng góp về phương pháp, có người đóng góp treong phân tích dữ liệu, có người lãnh đạo, thậm chí có người là “tác giả dỏm” (tức chẳng có đóng góp gì xứng đáng nhưng vì có “quan hệ chính trị” với nhóm nghiên cứu hay có tên tuổi nên được cho vào danh sách tác giả), đó là chưa kể hiện tượng “tác giả ma” (ghost authorship).  Đó là chưa kể đến những khó khăn về vị trí của tác giả trong bài báo.  Trong y khoa, tác giả đứng tên sau cùng có thể là tác giả chính hay “sếp” của bài báo (chứ không phải là người có đóng góp ít nhất)!  Ở các nước Tây phương, khi xem xét đề bạt, hội đồng khoa học thường yêu cầu ứng viên giải trình chính xác vai trò của mình trong công trình nghiên cứu, chứ không chỉ đơn giản có tên trong bài báo. 

 

[5]  Tôi có hỏi một người bạn Mĩ, hiện là giáo sư y khoa tại một trường đại học lớn ở Trung Đông, và được cho biết nhiều đại học ở Trung Đông áp dụng các thang điểm sau đây để đề bạt giáo sư.  Theo thang điểm này, để được đề bạt phó giáo sư, ứng viên phải có ít nhất là 70 điểm; và ứng viên giáo sư phải có ít nhất 150 điểm.  Các điểm được tính tổng hợp từ các tiêu chuẩn chính như sau: 

 

 

Hoạt động chính Điểm
Nghiên cứu đăng trên các tạp chí trong danh sách SCI, SSCI, AHCI (*) 20
Nghiên cứu đăng trên các tạp chí được công nhận ở trong nước (*) 10
Thư bình luận, báo cáo trường hợp (case report), điểm sách, bình luận về kĩ thuật (technical comment), v.v… trên các tạp chí thuộc SCI, SSCI, AHCI 6
Một chương sách do các nhà xuất bản quốc tế xuất bản (**) 10 – 15
Một chương sách do các nhà xuất bản nội địa xuất bản (**) 6 – 8
Biên soạn sách do các nhà xuất bản quốc tế xuất bản 40
Biên soạn sách do các nhà xuất bản nội địa xuất bản 20
Biên tập sách do các nhà xuất bản quốc tế xuất bản 15
Biên tập sách do các nhà xuất bản nội địa xuất bản 5
Bài báo trong các hội nghị quốc tế (conference paper - international) 6
Bài báo trong các hội nghị quốc gia (conference paper – national)  
Tóm tắt (abstract) trong các hội nghị quốc tế 2
Tóm tắt (abstract) trong các hội nghị quốc gia 1
Dịch sách in ờ nước ngoài 6
Dịch sách từ nước ngoài in trong nước 1
Được giải thưởng từ các hội đoàn chuyên môn quốc tế 10 – 40
Được giải thưởng từ các hội đoàn chuyên môn quốc gia 5 – 20
Thành viên trong ban xét trao tặng giải thưởng quốc tế 2 – 10
Bình duyệt bài báo cho các tập san quốc tế 1
Bình duyệt bài báo cho các tập san quốc gia 0,5
Bình duyệt sách cho các nhà xuất bản quốc tế 10
Bình duyệt sách cho các nhà xuất bản nội địa 5
Hướng dẫn chính luận án tiến sĩ 6

Hướng dẫn phụ luận án tiến sĩ

2

Hướng dẫn chính luận án thạc sĩ 3
Hướng dẫn phụ luận án thạc sĩ 1

Phát triển course học mới

6
Thành viên ban tổ chức hội nghị quốc tế 15
Thành viên ban tổ chức hội nghị quốc gia 6
Thành viên trong ban biên tập tạp chí quốc tế 5 – 10
Thành viên trong ban biên tập tạp chí quốc gia 1– 5

 

(*) Nếu bài báo có 2 tác giả, số điểm sẽ được tính bằng 0,8*điểm; nếu có hơn 2 tác giả, số điểm là: 1,8×điểm/n (trong đó, n là số tác giả).

(**) Nếu tác giả đóng góp hơn 1 chương sách trong sách, tổng số điểm là (1+k/c)×điểm  (trong đó, k là số chương sách, c là tổng số chương trong sách).

 

[6]  Garfield E.  The impact factor [internet] Current Contents 1994 20;3-7 (cited 16 August 2002).  Cách tính hệ số ảnh hưởng của ISI rất đơn giản, và có thể minh họa bằng một ví dụ cụ thể như sau: Chẳng hạn như trong 2 năm 1981 và 1982, Tập san Lancet công bố 470 bài báo khoa học gốc (original papers); trong năm 1983 có 10.011 bài báo khác trên các tất cả các tập san (kể cả Lancet) có tham khảo hay trích dẫn đến 470 bài báo đó; và hệ số ảnh hưởng là: 10.011 / 470 = 21,3.  Nói cách khác, tính trung bình mỗi bài báo gốc trên tạp chí Lancet có khoảng 21 lần được tham khảo đến hay trích dẫn.  Hệ số ảnh hưởng cũng không phải là một chỉ số hoàn hảo phản ảnh chất lượng, nhưng cho đến nay vẫn chưa có chỉ số nào tốt hơn, cho nên giới khoa học vẫn phải sử dụng hệ số ảnh hưởng cho việc đề bạt giáo sư, tài trợ nghiên cứu, và đánh giá uy tín của một nhà khoa học.  Ở Úc, khi ứng viên xin được đề bạt, ngoài danh sách bài báo khoa học, ứng viên còn phải cung cấp hệ số ảnh hưởng của tạp và số lần trích dẫn cho mỗi bài báo.

 

[7]  Phelan TJ. A compendium of issues for citation analysis. Scientometrics 1999; 45:117-36.  Theo một nghiên cứu khác, có đến 90% các bài báo khoa học công bố không bao giờ được trích dẫn hay tham khảo (xem L. I. Meho, The rise and rise of citation analysis, Physics World).  Tuy nhiên, tôi nghĩ con số 90% này được tính cả những bản tóm tắt (abstract) trong các hội nghị và các conference papers.  Do đó, con số 55% chính xác hơn.

 

[8]  Lawani SM. Citation analysis and the quality of scientific productivity.  BioScience 1977; 27:26-31.  Trong phân tích này, người ta thấy các công trình của Albert Eistein được trích dẫn 346 lần trong năm 1974.

Đọc trang nhà Gs Nguyễn Văn Tuấn

© http://vietsciences.free.fr  và http://vietsciences.org Nguyễn Văn Tuấn