GS Nguyễn Đăng Hưng’s blog

Việc đánh giá chất lượng

các công bố khoa học tại Việt Nam

GS Nguyễn Tiến Zũng (Toulouse, Pháp)

… Những vấn đề mà Hội toán học thế giới đưa ra về chuyện dùng “Impact factor”, có lẽ phần lớn những người làm toán ở nước ngoài đều có biết và đồng tình. Tuy nhiên, những thứ statistics như vậy vẫn có tác dụng “tín hiệu” (nói theo ngôn ngữ lý thuyết trò chơi: thông tin không đầy đủ, người ta xử lý dựa trên các tín hiệu) và vẫn sẽ được dùng. vấn đề là xây dựng “tín hiệu” sao cho chính xác nhất. Trong toán, thì trích dẫn 5-10 năm sẽ chính xác hơn nhiều là chỉ xem 2 năm. Và các ngành khác nhau, muốn so sánh với nhau, thì phải dựa trên các “baselines” nào đó. Có một điều chắc chắn là: có correlation (tương quan) rất lớn giữa số lần được trích dẫn, và ảnh hưởng khoa học của một người. Và cũng có “correlation” (tương quan) lớn giữa uy tín của 1 tạp chí, và chất lượng của bài đăng trong tạp chí đó. Và các quyết định trong thực tế chủ yếu dựa vào các tín hiệu có “correlation” lớn, chứ không có gì đảm bảo 100%.

Trân trọng, NTZ

GSTS Nguyễn Văn Tuấn (Sydney, Úc)

Tôi muốn có vài lời phụ hoạ với Dũng về chuyện đo lường khoa học. Impact factor (IF, chỉ số ảnh hưởng) phản ảnh chất lượng và uy tín của tập san, chứ không nhất thiết phản ảnh chất lượng một bài báo nào và càng không nói lên thành tựu của một cá nhân. Có lẽ những ai quan tâm đến “citation science” (yes, có một bộ môn khoa học và vài tập san khoa học về chuyện này) đều biết. Nhưng vẫn có mối tương quan cao giữa IF và uy tín của một cá nhân, và điều này đã có nghiên cứu hẳn hoi chứ không phải nói suông hay ý kiến cá nhân.

Nhưng IF rất quan trọng cho tập san, vì nó dính dáng đến tiền bạc chứ chẳng chơi. Tụi tôi phục vụ trong ban biên tập, năm nào cũng nôm nốp chờ cái đám ISI nó công bố IF của tập san mình ra sao. Nếu IF giảm thì quảng cáo cũng giảm theo, và hội đồng biên tập bắt đầu đem tổng biên tập ra … chém. Còn đại học thì năm nào cũng xem quân lính của mình công bố ở đâu, và như trường hợp của Viện tôi, chỉ khi nào chỉ số IF trung bình cao hơn một ngưỡng nào đó thì mới được thưởng, còn không thì năm đó xem như … tiêu điều. Ai cũng ghét IF. Có hàng chục, thậm chí hàng trăm, bài báo chỉ trích IF (tôi có cả một collection). Nhưng nó vẫn tồn tại. Chẳng những tồn tại mà còn có xu hướng phát triển! Điều này đơn giản vì giới quản lí khoa học thích cái gì đơn giản mà dễ hiểu.

Để đánh giá một cá nhân, các hội đồng khoa bảng và cung cấp tài trợ trên thế giới đang dần dần chuyển sang chỉ số h (hay h index) như là một trong những tiêu chuẩn và thước đo chính.

Nhưng vì chỉ số h dựa vào tần số trích dẫn, và tần số trích dẫn thì rất khác nhau giữa các bộ môn khoa học. Chẳng hạn như khi phân tích tổng số bài báo từ 1995 đến 2005, người ta thấy tần số trích dẫn bình quân (tính trên mỗi bài báo) của ngành miễn dịch học là 1955., vật lí 722., còn ngành toán chỉ 266., ngành khoa học máy tính 249., vv…. Do đó, người ta phải đề ra một chỉ số h chuẩn hoá. Cách chuẩn hoá là lấy ngành vật lí làm ngưỡng chuẩn. Chỉ số h chuẩn hoá (kí hiệu Hc) là Hc = hc*, trong đó h là chỉ số h do ISI cung cấp, và c là hệ số liên quan đến trích dẫn của một ngành khoa học. Hệ số c của ngành vật lí [đương nhiên là] 1, toán 183., khoa học máy tính 175., miễn dịch học 052.. Do đó, nếu một nhà toán học có h = 10 thì Hc = 183., tức cao hơn một nhà vật lí học có cùng h.

Tôi nghĩ ở các nước đang phát triển như nước ta, các đồng nghiệp thường bị thiệt thòi. Lí do đơn giản là khi trích dẫn, người ta không thích hay không tự tin trích dẫn những bài báo từ các nước như Việt Nam, Thái Lan, Singapore, thậm chí Hàn Quốc, vì những câu hỏi cứ lởn vởn trong đầu như: không biết khoa học mấy nước này ra sao, họ có làm đúng phương pháp hay không, có giả tạo số liệu như ở Hàn Quốc hay không, vv…. Cái nguyên nhân thứ hai là các nhóm nghiên cứu, thậm chí các đại học, ở những nước như thế chưa có “name”, hay nói nôm na là chưa có thương hiệu. Vì chưa có thương hiệu, chưa có name nên chẳng ai quan tâm. Và, để cho chắc ăn, cách tốt nhất là tránh trích dẫn từ các nước này. Đó là một thiệt thòi lớn cho những người làm khoa học nghiêm chỉnh. Cố nhiên, tôi chỉ nói trong ngành y, còn ngành khác thì tôi không biết ra sao.

Không có một chỉ số nào là hoàn chỉnh cả. Nhưng như người ta vẫn nói có một đáp số gần đúng vẫn tốt hơn là không có đáp số (“an approximate solution is better than no solution”), cho nên những chỉ số này vẫn là những thước đo khách quan hơn, chính xác hơn, và đáng tin cậy hơn cả trăm lần so với những ý kiến cá nhân.

Tuấn.

GSTSKH. Nguyễn Đăng Hưng (Liège, Bỉ)

Tôi tán đồng với những ý kiến xác đáng của anh Tuấn. Ngành cơ học tính toán của tôi cũng làm tôi có suy nghĩ tương tự như vậy về các chỉ số đánh giá!

Nói chung, ta chỉ nên xem như là một cơ sở đánh giá tương đối và còn những cơ sở khác. Đánh giá phải đa chiều.

Đối với những nước đang trên đường phát triển như VN ta, điều kiện vật chất khó khăn (nhiều tờ báo phải đóng tiền mới đăng bài!) không nên loại trừ những bài báo có tính cụ thể áp dụng, nhưng cũng rất bài bản và hữu ích cho khoa học và công nghệ nước nhà.

Như vậy việc tổ chức lại, phấn đấu để có những tờ báo khoa học xuất bản tại Việt Nam có chất lượng có Hội đổng kiểm định quốc tế bao gồm các nhà khoa học có tăm tiếng đồng ý đứng vào, là điều tiên quyết, theo tôi!… Muốn vậy phải dựa vào các nhà khoa học VK đã có quá trình 30-60 năm sinh hoạt khoa học đứng ra làm chủ chốt..Họ có nhiều bạn bè quốc tế vì giao lưu thường xuyên nghề nghiệp. Điều này chính Bộ khoa học phải có chủ trương và tài trợ trong những buổi ban đầu… Trong ngành tôi VK có trình độ như vậy cũng không thiếu. Thiệt ra chỉ cần 2,3 là tạm đủ cho mỗi ngành… Có cái là ta nhờ vã họ, trông chờ họ mang về không công, nhưng ta chưa giao cho họ việc gì cho ra hồn….

Các nhà khoa học trong nước nên nhìn lại mình. Chỉ khi nào giải quyết được những tâm lý cục bộ đời thường, nhưng cũng rất đáng buồn, thì mới mong làm cái chuyện vẫn cứ nói mãi ở đầu môi chót lưởi mà không thực hiện được mảy may là : đi tắt đón đầu…

Hưng,

GSTS Nguyễn Văn Tuấn (Sydney, Úc)

Hiện nay, có 3 chỉ số để đánh giá một nhà khoa học: số lượng ấn phẩm khoa học (N), impact factor của tập san mà nhà khoa học công bố nghiên cứu của mình (I), và chỉ số h (h). Mỗi chỉ số đều có những ưu và khuyết điểm. Ở đây, tôi chỉ nói sơ qua như sau:

Cái khiếm khuyết chính của N là nó chỉ nói đến số lượng, chứ không phản ảnh chất lượng, và càng không phản ảnh vấn đề nhiều tác giả (tức có nhiều trường hợp tác giả chỉ là “lính đánh bo”^. mà N thì không biết và không phân biệt được những tác giả này). Một người có thể công bố 20 bài báo, nhưng nếu 19 bài là vai trò lính đánh bộ thì rõ ràng cho thấy năng suất khoa học của người này quá kém. Cần nói thêm rằng N ở đây đương nhiên là không tính số sách xuất bản và [trong ngành y] thì không tính mấy bài báo trong conference proceeding.

IF như tôi nói hôm qua là ai cũng ghét nó và tìm đủ thứ lí do để phê phán nó. Một số phê phán cũng hoàn toàn hợp lí, nhưng một số phê phán thiếu khách quan. IF không nhận dạng được những lính đánh bộ. Sự thật là trong cùng một ngành, công bố một bài báo trên tập san hàng đầu có impact factor cao vẫn khó hơn là công bố một bài báo trên một tập san có impact factor gần bằng 0. Do đó, dù có phê phán thế nào đi nữa thì IF vẫn là một chỉ số có ích. Đương nhiên, chẳng ai dại dột đến nỗi phải nô lệ vào nó để đánh giá một nhà khoa học (vì nó được phát triển để phản ảnh chất lượng tập san). Tuy nhiên, tính trung bình những bài báo trên các tập san có IF cao cũng được trích dẫn nhiều hơn những bài báo trên các tập san có IF thấp. Người ta đã làm nghiên cứu bằng cách cho đồng nghiệp quốc tế đánh giá nhà khoa học bằng một bộ câu hỏi, rồi sau đó họ phân tích tương quan với IF, thì thấy hệ số tương quan dao động từ 053. đến 07.. Hệ số này tuy không hoàn hảo, nhưng không đến nổi tệ. Nói cách khác, IF quả thật cũng phản ảnh một phần nào đó khả năng và uy tín của nhà khoa học. Thật vậy, đọc CV của một người với những bài trên tập san có IF hàng top trong ngành thì cũng “pleasure” lắm chứ, thay vì đọc CV mà những bài báo toàn trên những tập san làng nhàng.

Còn h thì quả là khá hơn hai chỉ số kia, nhưng vẫn có vấn đề. Vấn đề lớn nhất là nó tăng (chứ không giảm) theo thời gian, và điều này có nghĩa là mấy người mới xong PhD hay các nhà khoa học trẻ đang trong giai đoạn tự lập sẽ bị thiệt thòi. Ngoài ra, h còn tuỳ thuộc vào từng ngành khoa học, nhưng cái này thì có thể khắc phục bằng Hc như tôi mô tả hôm qua.

Tôi nghĩ đến một chỉ số tổng hợp 3 chỉ số trên bằng một mô hình như Bayes chẳng hạn, nhưng đây là vấn đề kĩ thuật sẽ bàn sau. Mới đây, có người đề nghị chỉ số Z tổng kết c3 chỉ số trên. Z được định nghĩa như sau:

Z = tổng tích sơIiPi^’), i chạy từ 1 đến N.

Trong công thức này, P là “contribution factor”, phản ảnh đóng góp của tác giả cho bài báo hay công trình nghiên cứu. Chẳng hạn như tác giả đầu và cuối (trong ngành y thường là hai người quan trọng) có P = 1, còn tác giả đóng vai trò hợp tác thì P có thể 03. (cái này còn bàn thêm, vì tuỳ văn hoá ngành). I là impact factor của tập san. Thường thường, thời gian đòi hỏi một paper được trích dẫn cũng phải 2-5 năm, cho nên khi đánh giá thành tích trong năm, người đánh giá không có lựa chọn nào khác là dựa vào impact factor.

Do đó, một nhà khoa học công bố được N = 5 bài với impact factor của 5 tập san đó là 1, 2, 45., 25., và 3. Ngoài ra, trong số này nhà khoa học là tác giả chính của 2 bài, còn 3 bài kia là lính đánh bộ, thì Z được tính như sau:

Z = 11* + 21* + 450.3*. + 250.3*. + 303*. = 6.

Một nhà khoa học khác cũng có 5 bài và cũng với IF như trên, nhưng toàn là tác giả chính thì chỉ số Z là 13.

Như vậy Z “thuởng”+ cho nhà khoa học có vẻ công bằng hơn là N hay IF.

Tuy nhiên, ở đây chúng ta chỉ nói về tương lai, nói cho vui, chứ trong thực tế hiện nay ở trong nước chưa ai dùng IF để đánh giá hay đề bạt một nhà khoa học cả, chứ nói gì đến h hay Z hay N. Có thể nhìn qua vài trường hợp được đề bạt chức danh GSPGS/ năm nay cũng thấy mấy chỉ số tôi vừa bàn trên đây gần như là gạt qua bên lề.

Làm khoa học là một chuyện, nhưng làm khoa học có đẳng cấp là một chuyện khác.

Bây giờ tôi bàn qua ý kiến của anh Hưng. Vấn đề anh Hưng nêu lên có tầm quan trọng. Trước đây, trên Tia Sáng (website đã bị đóng cửa) tôi cũng có đề nghị là [chỉ ngành y thôi] chúng ta nên tập hợp các tập san rải rác thành một tập san quốc gia với sự tham gia của các chuyên gia nước ngoài và người Việt ở nước ngoài trong ban biên tập. Tập san sẽ hoạt động trong vòng 2-3 năm, và khi có đủ “critical mass” và mình chứng minh được tính khoa học của tập san, thì mình đăng kí với ISI để được “công nhan”^. và liệt kê trong danh sách của ISI. Nhưng chắc chẳng ai quan tâm đến chuyện này.

Tôi có chút kinh nghiệm về chuyện đương đầu với ISI, vì khoảng mười năm trước chúng tôi gồm một nhóm đồng nghiệp đứng ra thành lập tập san Journal of Clinical Densitometry và chỉ sau 2 năm được công nhận. Hiện nay, tôi và vài người khác ở Đông Nam Á định lập một tập san y khoa khác cho vùng, vì có nhiều người phàn nàn là bọn tập san Tây phương kì thị không chịu công bố bài từ Đông Nam Á và Á châu nói chung. Thật ra thì phàn nàn này chỉ đúng một chút thôi, vì bằng chứng thực tế cho thấy không phải như thế, và tôi sẽ quay lại chuyện Á châu – Âu châu trong một dịp khác.

Tại sao Thái Lan, Singapore, Mã Lai, vv…. có nhiều bài báo hơn chúng ta? Tôi có giải thích trước đây rằng một trong những lí do là họ có một vài tập san được ISI công nhận. Chẳng hạn Journal of the Medical Association of Thailand, hay Singapore Medical Journal được ISI và PubMed công nhận. Bọn Trung Quốc chúng nó cũng có một vài tập san được công nhận. Do đó, những bài trên hai tập san này được cho vào thư viện PubMed toàn cầu. Phần lớn mấy tập san này đăng bài của phe họ, như những bài của nghiên cứu sinh tiến sĩ, hay những bài đã bị mấy tập san phương Tây từ chối. Tuy chất lượng không cao, nhưng dần dần họ sẽ nâng cao uy thế và có impact factor tốt hơn. Vạn sự khởi đầu nan. Cách làm của họ như vậy thật đáng khen.

Còn ta, theo tôi biết, thì không có tập san nào được ISI công nhận. Các tập san y khoa của Việt Nam (khoảng 20!) thì chất lượng quá thấp, chẳng có hệ thống bình duyệt nghiêm chỉnh, bài vở quá kém, tiếng Anh sai sót quá nhiều (có khi ngay cả tên tập san cũng dịch sai!) Do đó, vấn đề là làm sao huy động các tập san này để đi đến một tập san quốc gia, có hệ thống bình duyệt nghiêm chỉnh, có abstract viết bằng tiếng Anh, và có ban biên tập với lí lịch khoa học “day”` một chút cộng với sự tham gia của các chuyên gia nước ngoài.

Nhưng làm sao huy động để lập một tập san quốc gia có lẽ không phải là điều dễ dàng. Thú thật, tôi không mấy lạc quan về triển vọng có một tập san y khoa cấp quốc gia ở Việt Nam được ISI công nhận. Để làm chuyện đó, cần phải có một người đứng mũi chịu sào tốt, có uy tín trên trường quốc tế (hay ít ra là có lí lịch khoa học “coi đuợc”+ một chút), nhưng tìm được người như thế không phải dễ. Nếu ban biên tập toàn là người trong nước thì đừng bao giờ nghĩ đến chuyện đăng kí ISI (tôi có kinh nghiệm nên biết điều này). Vậy thì phải có người nước ngoài tham gia ban biên tập. Người có tiếng chưa chắc họ chịu tham gia, vì ai dám để tên mình vào một tập san vô danh mà chưa biết làm ăn ra sao. Còn người chịu để tên thì có lẽ thuộc loại dỏm hay gần dỏm nên mới đánh cuộc kiếm chút danh. Vậy thì còn một thành phần khác có lẽ thực tế hơn: Việt kiều. Nhưng người Việt ở nước ngoài đụng phải cái tâm lí “Bụt nhà không thieng”^, nên tôi nghĩ họ cũng chỉ đứng ngoài nhìn vào thôi, chứ chẳng ai mời tham gia đâu. Đó là chưa nói đến người mình thiếu nghệ thuật giải quyết xung đột (conflich resolution) khi làm việc. Đó là lí do tại sao tôi thấy bi quan, và nghĩ chắc mình chẳng bao giờ có được một tập san ISI, hoặc có được, thì lúc đó những người như tôi và anh Hưng đã bị các vi khuẩn trong người tiêu diệt cho về bên kia thế giới rồi. Do vậy, tôi chia sẻ câu này của anh Hưng “Chỉ khi nào giải quyết được những tâm lý cục bộ đời thường, nhưng cũng rất đáng buồn, thì mới mong làm cái chuyện vẫn cứ nói mãi ở đầu môi chót lưởi mà không thực hiện được mảy may là : đi tắt đón đau..”^`.

Trong tình huống tồi tệ nhất, mình nên sử dụng cách thực tế của người Tây phương: if you can not beat them, join them, và trong trường hợp này câu đó có nghĩa là: nếu không thành lập được một tập san riêng cho Việt Nam thì cách thực tế nhất là tham gia vào “cuộc choi”+ của người khác vậy. Chỉ có điều là cuộc chơi đó do người khác — chứ không phải mình — đặt ra luật chơi. Mà, mình không đặt ra được luật chơi ngay trên sân nhà thì mình sẽ nô lệ dài dài.

Tuấn,