Category Archives: 大学関係

OpenAI の ChatGPT と「論文生成器」による研究論文不正について

先日、2022年11月30日に試験公開された OpenAI による対話型の応答システム ChatGPT の話題でやりとりをしている中で、AI によるプログラミングに話が及びました。

「プログラムが OpenAI であるかどうかを判定できるか?」と ChatGPT に聞いてみたところ、「おそらく、OpenAI の API を使用したプログラムを特定することは困難です。OpenAi の API は一般的なプログラミング言語やフレームワークを使用して・・・」といった「無難な」返事が返ってきました。質問は、「OpenAI の API によるプログラム作成システムによって生成されたプログラム」に関してというつもりでした。

そのときに、ふと、思い出したのが「論文生成器」のことでした。

5年ほど前に大学改革支援・学位授与機構で研究不正防止に関する責任者として研修を担当したときに、そのころに話題になっていたことが頭に浮かびました。この研修は教員だけでなく、機構の業務上でも重要なことですので大学評価や学位授与を担当する職員の方々も受けておられました。

添付の資料は研究活動における不正行為の防止について、研究費に関わる不正は別に扱うこととして、主として研究成果の公表に関わることを扱ったものです。この中で、「論文生成器」については pp.14-15 で扱っています。

2005 年に MIT の SCIgen という Computer Science の論文を自動生成するシステム (2002年) を使った nonsense 論文2編を国際会議に投稿してうち1編が “non-reviewed” paper として採択されたという話題が発端です。じつは、2014年に Springer と IEEE が 120本の論文を Proceedings から削除したということが話題になっていました。それを検出したのが Grenoble で開発された SCIgen Detection システムだったというのです。添付の資料には、実際、SCIgen で作成した “論文” のPDF ファイルを SCIgen Detection Site で与えてみた例をあげてあります。

このように、AI による nonsense 論文生成(とはいってももっともらしい体裁の文書)とそれの検出ツールが別に存在するというのではなく、論文の生成と検出がおなじ知識を持つようなことになれば、ChatGRT に「SCIgen で作った論文かどうかの判定する方法は?」と聞いたときの4つの答えの中の「SCIgen で生成された論文は、一般的にクオリティが低いため、他の論文と比較しても劣っていることが多いです。そのため、論文のクオリティや影響度などを評価する指標を用いて比較することができます。」ということに尽きるのでしょう。

しかし、一方で、添付資料 pp.6-7 でも扱っていますが、いわゆる”ハゲタカ出版社” (Predatory Publisher) での出版を研究業績と認めることがないような仕組みも必要でしょう。

なお、この資料は5年前の状況ですので状況が変わっていることもあると思います。

研究活動における不正行為の防止について

 

5月16日の参議院院内集会で触れた「沖縄科学技術大学院大学」について

5月16日の参議院院内集会「国際卓越研究大学法案を廃案に! 緊急院内集会 ~大学における多様な学びの機会の保障を求めて~」(「国際卓越研究大学」法案について)で触れた沖縄科学技術大学院大学(OIST)の話題が出ていました。

「論文が世界9位となった『沖縄科学技術大学院大学』の可能性について」(2022-05-17)ニッポン放送
https://news.1242.com/article/361281

 

「国際卓越研究大学」法案について

2022年5月16 日の参議院院内集会

「国際卓越研究大学法案を廃案に! 緊急院内集会 ~大学における多様な学びの機会の保障を求めて~」

で「国際卓越大学は大学界の研究力を高めるか?」と題して意見を表明させていただきました(資料参照)。

集会のプログラムは以下の通りです。

プログラム:
国会議員の挨拶・メッセージ
報告1
「国際卓越研究大学法案の問題点」
米田俊彦(お茶の水女子大学教授、教育史学会代表理事)
報告2
「国際卓越大学は大学界の研究力を高めるか?」
武市正人(東京大学名誉教授、大学改革支援・学位授与機構名誉教授)
報告3 大学の教育・研究・医療の現場からの声
古川隆久(日本大学教授。ビデオメッセージでの参加)など
学生の意見(交渉中)

なお、主催者による会合の録画は https://youtu.be/WeW-fQb6F-U にあります。

報告2「国際卓越大学は大学界の研究力を高めるか?」の資料は以下にあります。

最近の大学における「質保証」について

昨年(2018年)の3月まで、7年間、大学の質保証の業務に関わっていましたが、それ以降、1年3ヶ月ほどはまったく関わっておりません。以前に大学にいた頃のComputer Scienceの研究に戻って、その間の研究の進展をフォローしながら10年ほど前に考えていたことを継続してプログラミングを楽しんでいます。

その一方で、ときにはいろいろと報道される最近の大学の状況について考えるところもあり、以前の業務を通じて知った質保証を担う当事者としての大学、および学生、教員、職員の方々へのさまざまな思いが出てくることもあります。

最近、話題になる大学の問題の多くは組織のあり方に関するものが多いと言えるでしょう。「改革」の名の下に実施される施策が必ずしも正鵠を得ていないことも、また、それを指摘することが躊躇われるということもあるのではないでしょうか。

いまでも「平成27年度大学質保証フォーラム−知の質とは – アカデミック・インテグリティの視点から」を企画し開催したときのことを思い起こします。なにより、大学にとっては、「改革」、「評価」といった対処に追われるだけではなく、学生、教員、職員のそれぞれが「アカデミック・インテグリティ」を真摯に追究すべきであろうと思います。これに加えて、「非寛容の排除」も大事だといえるでしょう。以前から話題になっている「研究不正」については、多くは教員によるインテグリティの欠如によるものですが、それでもやはり組織としてのインテグリティが欠けているといわざるを得ません。「不適切な入試」にまつわることがらもおなじでしょう。「制度改革」も必要でしょうが、それが当座の問題を見えなくするための形ばかりのものになってしまわないことを願っています。

「質保証」ということばには広い意味がありますが、その基礎にあるものをもう一度、考えてみることも大事でしょう。

久しぶりの投稿です。

大学における教育研究の質保証について – 設置審査・内部質保証・認証評価

昨年(2017年)の夏から秋にかけて、ある大学(学部)の「設置審査」が話題になって新聞やテレビでも報道されたので、大学関係の方々以外にも「大学(学部)の設置にあたっては文科省の審査がある」ことが共有されたといえるでしょう。

しかしながら、こうした報道の場面では、大学設置審査で認められた大学のその後の教育研究の状況がどのようにチェックされるのか、といったことはほとんど触れられません。それだけでなく、実際、大学の一般の教職員の方々も(もちろん、大学にもよりますが)普段は気にかけることは少ないようです。

設置審査の申請にあたっては、大学や学部・研究科等の設置目的や教育課程の内容、および教員の教育研究業績と担当講義との対応など、組織と個人の詳細な情報を整える必要がありますので、関係者は相当の経験をすることになります。しかし、設置された後のこととなると、設置時の関係者はともかく、その後に着任された方々が積極的な関心をもつことは少ないのかも知れません。むしろ、関心をもたずに研究や教育に携わることができると言った方がよいのかも知れません。多くの大学(学部等)はすでに設置されているわけですから、そこでの教育研究の状況をどのように把握すればよいのか、といった疑問も出てくることでしょう。

最近、大学に問われている大きな課題の一つは、「教育研究の質をどのように保証するのか」ということです。高等教育の政策的な提言等があるたびに「質保証」といったことばで声高に唱えられます。教育研究の「質」ということ自体、議論のあるところではありますが、大学設置の際には大学が申請した目的に照らして一定の「質」を確保できると判断して設置が認可されたのですから、大学が約束したとおりに教育研究が継続的に行われていることを保証することが「(最低限の)質保証」だといえます。

こうした質保証の仕組みは、じつは、制度的にはすでに整えられているのです。もちろん、これで十分ではないといってしまえばそれまでなのですが、それにしても、「大学における教育研究の質保証の全体像」は大学界でも一般社会でも、もう少し共有する必要があるといえるでしょう。一言で言えば、

文部科学省と大学と認証評価機関が連携して教育研究活動の質を保証する

ということです。それぞれの機関が

設置審査と自己評価・点検・改善と認証評価を担う

という役割分担を行っているといえます。

 

我が国では大学の役割及び目的に適う教育の質を保証するために以下の制度が設けられています。

  • 設置認可制度(学校教育法第4条)
  • 認証評価制度(学校教育法第109条第2項)

認証評価制度は2003年の学校教育法の改正により2004年4月に導入されました。この改正を機に、大学の施設設備や教員年齢などについての詳細を規定していた「内規」が廃止され、大学の設置は以前よりも緩和された大学設置基準等の法令に基づいて認可されることとなりました。また、大学が既に授与している学位の種類及び分野を変更しない範囲での新たな学部や学科などの設置については、審査を経ない「届出」で処理されることになりました。一方で、このような設置認可制度の変更に伴い、設置後の大学の教育の質の保証は、原則として大学自らの「自己点検・評価」と「認証評価機関による認証評価」によることになりました。

このように、大学教育の質保証については、制度的には「(緩和された)設置審査による事前規制」と「(新たに導入された)認証評価制度による事後チェック」によることになりましたが、そこでは大学自らの「自己点検・評価」が行われることが前提となっています。

我が国ではこのような制度によって大学教育の質を保証していますが、諸外国でも一般に、大学自らが行う(自己点検・評価を含む)質の改善に向けた組織的な活動を「内部質保証」と呼び、大学の外部からの第三者による「外部質保証」に対比させています。我が国の設置審査や認証評価は外部質保証だといえます。

大学は、このように、第三者の評価を受けながら「質保証」を行っていることを社会にも知らせる必要があるといえるでしょう。もちろん、自らが実施する「内部質保証」によって、よりよい教育研究活動ができるように改善に努めていることも示すこともあるでしょう。これらの「質保証」は個々の学生が身につけた成果を保証するものではありません。しかし、教育の体制等を確認して、個々の学生が学修するための最低限の条件を満たすことを保証しているわけです。さらに、大学の取組としてさらなる向上を目指しているということになります。このような状況を社会でも共有するのが望まれます。

 

 

教育研究活動の質保証に携わって

久しぶりの投稿です。

2018年3月末に大学改革支援・学位授与機構(NIAD-QE)を退職しました。2年前に大学評価・学位授与機構(NIAD-UE)から改組されましたが、その前から7年間、勤めました。そのうちの6年間は研究開発部長を務め、調査研究の統括と教職協働による事業推進にあたりました。最近のことばでは、「教育研究活動の質保証」に携わったということでしょうか。

この独立行政法人に勤めるまでには、39年間、大学に在職しました。専攻はComputer Science (計算機科学)で、とくにソフトウェア構成論や関数プログラミングに関す研究を行いましたが、この数年間はこの分野の研究には手が回らなかった(というよりも、特定の分野によらない仕事に就いていた)といえます。以前には研究面での話題も記事に書いたことがありますが、これからも少しずつ(研究面でのリハビリをしながら)書いてみたいと思います。

さて、NIAD-UE 、NIAD-QEの7年間を振り返ってみますと、大学とは異なる視点を身につけたという感じがしています。大学にいた頃から、日本学術会議会員を務めたり、NIAD-UEの客員教授も務めていましたので、NIAD-UEに着任して学術分野によらない大学評価や学位審査などの業務を推進することも、私にとっては以前からの継続的な活動であったといえます。しかしながら、学術界や大学等、高等教育全般に関わっていたとはいえ、教育研究の質保証に関わる調査研究やそれをもとにした教職協働による事業実施にあたることは刺激的で楽しいことでした。大学の頃には得られなかった多くのことを学びつつ、独法としての事業に携わった経験は私にとって貴重なものでした。

この経験をもとに、大学をはじめとする高等教育における「教育研究活動の質保証」について、大学界だけではなく社会一般にもお伝えした方がよいと感じたことがらについて、いくつかの記事を書くつもりです。

「知の質とは —アカデミック・インテグリティの視点から—」大学質保証フォーラムの開催について

アカデミック・インテグリティ(の一端)については、これまでにもこのBlogに書いたことがあります。2年ほど前に研究不正について議論が行われ始めたときにさらにその前2年半ほど前のことを回顧しながら考えを書きました。

科学者倫理に思うこと

Academic Integrity と Research Integrity

など、さらにはそれ以降の記事の多くも、これに関係する話題が多かったと思います。 Continue reading →

「東大が軍事研究解禁・・・」の報道について

2015年1月16日産経新聞朝刊の第一面に掲載された記事に驚きました。sankei.comのオンラインニュースにも出ています。そこには、

 東大は昭和34年、42年の評議会で「軍事研究はもちろん、軍事研究として疑われるものも行わない」方針を確認し、全学部で軍事研究を禁じた。さらに東大と東大職員組合が44年、軍事研究と軍からの援助禁止で合意するなど軍事忌避の体質が続いてきた。

ところが、昨年12月に大学院の情報理工学系研究科のガイドラインを改訂し、「軍事・平和利用の両義性を深く意識し、研究を進める」と明記。軍民両用(デュアルユース)技術研究を容認した。ただ、「成果が非公開となる機密性の高い軍事研究は行わない」と歯止めもかけた。以前は「一切の例外なく、軍事研究を禁止する」としていた。

とあります。

情報理工学系研究科に4年近く前まで在籍した者にとってはまったく意外なことでした。2004年の国立大学法人化のときに研究科長を3年間務め、法人化に伴う国立大学の変化も見た者が、4年前に離れてその後は足を踏み入れないできた組織で何が起こっているのかと関心を持たざるを得ません。

Continue reading →

論文査読の陥穽

研究論文はピアレビューによってその質が保証されるというのが一般的です。しかし、驚くべきことが起きていました。

SAGE社の出版する雑誌で60本の論文撤回 1人の著者が複数の別名を使って自分の投稿論文を自分で査読

内容がどうのこうのとことではなく、査読をごまかしたというわけです。最近は、投稿論文の査読をオンラインで行うことが多いことから、起きたことだということでしょうか。SAGE社は more than 700 journals and over 800 books を刊行しているとのことです。論文誌ごとに査読者候補のリストを作っているでしょうから、そこに、たくさん偽名で登録をしておいて、自らの論文を「査読」したということでしょう。

Continue reading →

学術界における「抵抗的意見」とは?

ある学術的な組織のある委員会の委員長が審議の経過を報告した公開文書に、

・・・にあたり、それがやや革新的であったためか、多くの抵抗的意見が○○○○○○の中で出された。しかし、本委員会委員の方々の真摯な議論と積極的な支持により、すべてを乗り越えることができた。

との表現を見て、これが科学者コミュニティで議論した総括だというのは、あまりにも残念な気持ちになりました。なにか、最初から決まっていることを結論づけるために、形式的に議論したというだけのことだったのでしょうか。

Continue reading →