ChatGPTで入試問題が解けるのかやってみた!

Uncategorized

やってみた「ChatGPTは受験にどれだけ利用できるのか?」(2023年2月11日現在)

最近よく聞くChatGPTは、果たして入試問題を解けるのか??

気になって仕方がないので、公立レベルの高校受験問題でやってみることにする。

まずは登録してみた

ニュースでChatGPTが放送されていた。

ChatGPT(チャットジーピーティー、Generative Pre-trained Transformer)[1]は、OpenAIが2022年11月に公開したチャットボット。OpenAIのGPT-3.5ファミリーの言語モデルを基に構築されており、教師あり学習強化学習の両方の手法で転移学習されている[2]

2022年11月30日にプロトタイプとして公開され、幅広い分野の質問に詳細な回答を生成できることから注目を集めた。しかし、人間が自然と感じる回答の生成を特徴としていることから、自然に見えるが事実とは異なる回答を生成することもあり[3][4]、大きな欠点とされた[5]。ChatGPTのリリース後、OpenAIは290億米ドルと評価された[6]。ローンチから2か月で、ユーザ数は1億人に達した[7]

Wikipedia

なんだかよくわからないが、すごいということだ。

近頃よく聞くChatGPT、を利用して、受験に活用できるのかを試してみよう。

今のところ無料なのでありがたい。

基本的に、私はAIを敵とみなしている。うかれている間に、ほとんどの人間はAIの奴隷となる。

①ますはChatGPT、への登録。

「chatgpt 日本語」を検索。

https://chat.openai.com/auth/login サイトに移行。

②「今すぐChatGPTを試す」をクリック

③メールアドレスを登録し、独自アカウントを作成する

●googleアカウントでログインする。

●microsoftアカウントでログインする。

の方法があるが、情報流出が怖いのと、紐づけがあるため、独自アカウントで作成。

(とは言っても、メールアドレスと、電話番号登録は必要)

その後、SMSにて4けたの番号がスマホに送信された。

4桁の番号を入れると、E-mailが承認され、4桁の番号を押すと有効化される。

④ ChatGDPへの登録完了!

      

ChatGPTは、フォームに打ち込むと、自然な言葉で返答してくれるというもの。マルチリンガルで、英語でも日本語でもOKということだ。

早速つかってみることに。

スポンサーリンク

ChatGPTの英語の実力は

まずは、2022年の埼玉県英語の英作文で挑戦する。

学校選択問題のため、埼玉の浦和・浦和一女・大宮などの上位高校の英作文の出題問題。

慣れていないとそこそこ時間が取られる問題。特に2022年は、イントロ(導入文)が長いため、問題を解き始めるまでに時間がかかる。

【2022年埼玉県公立高校入試 英語より】
次の英文を読んで,あなたの考えを,〔条件〕と〔記入上の注意〕に従って40 語以上50 語程度の英語で書きなさい。

Making a speech or presentation is effective to deepen your understanding. When you make a speech or presentation, you may discover some things that you want to learn more about. To learn more, you will need to do research. For example, you can do this in many ways at school. The school library and the tablet computers can also help you. How will you use things, such as the library or computers for your research?
<和訳>
”スピーチやプレゼンテーションを行うことは、理解を深めるのに効果的です。 スピーチやプレゼンテーションをしていると、もっと知りたいことが見つかるかもしれません。 詳細を知るには、調査を行う必要があります。 たとえば、学校ではさまざまな方法でこれを行うことができます。 学校の図書館やタブレット端末も役に立ちます。 図書館やパソコンなどを研究にどのように利用しますか。”

ん・・・まずは、日本語と英語の両方を投入して、ChatGPTの実力を試したいところ。

これで、50字以内で高校入試っぽい答えが出たらすごい!

まあ、図書館やコンピューターなどを、どのように使って調査をするか、ということか。

ちなみに、解答は・・・

【埼玉県教育委員会の模範解答】
First, I will collect information on the Internet. There is a lot of information on the Internet and some of it may be wrong. Next, I will read books from the school library to make sure that the information is not wrong. Then, I can learn more about difficult topics. (5 0 語)

「最初にネットで調べて、でも間違っているかもしれないので、本で間違いがないか確認する。そして、より難しい題材を学ぶことができる。」ということ。

教育委員会の回答は「コンピューター」の情報収集の手軽さと「本」の正確さを組み合わせた上で、より難しいテーマに挑戦するということが書いてある。これは人間でなければ生み出せない。さすがは埼玉県教育委員会。

AIごときにできるわけない。まあ、埼玉県教育委員会の圧勝だろう。

とうとう開始! 英語は解答できるのか??

ChatGPTに問題を入力!

英語サイトであるが、日本語での入力もOKのようである。

は、速い!! (5秒)

ChatGPTが出した解答は・・・

【ChatGPTの解答】
Making a speech or presentation is a good way to improve your understanding. During this process, you may come across some areas that you'd like to learn more about, requiring you to conduct research. The school library and tablet computers are great resources to use for research. Consider how you can utilize these resources to enhance your understanding.
<上記の日本語訳>
スピーチやプレゼンテーションを行うことは、理解を深める良い方法です。 この過程で、もっと知りたい分野に出くわし、調査を行う必要があるかもしれません。 学校の図書館とタブレット コンピューターは、研究に使用する優れたリソースです。 理解を深めるために、これらのリソースをどのように活用できるかを検討してください。

中学レベルを超えているが、極めてすばらしい英文である。(中身はスカスカだが)

タブレットやパソコンでの役割と、図書館の役割が書かれていないことは気になるが、それっぽい英文で滔々と書いてある。このそれっぽいことを、滔々と書けることこそが、AIなのかもしれない。

ただし、「問題への正対」という観点から(テーマのずれ)で3点程度減点となるだろう。

まあ、10点満点で7点

英語は正しいが、何を伝えたいのかが分からない。また、主語をYouとしてしまい、採点者に当てて、説教する文体となっていることも、人間にはできない心臓の強い芸当である。

英語で分かったことは、ChatGPTの理解力はまだ低く、詳細な指示が必要だということ。

主語をIにすることと、PCの利点、本の利点を組み合わせ研究にどう役立てるかを書くように指示することが必要だ。

もう1度やってみた

では、AIが英文を書きやすいように指示を変更してみるとする。

残念ながら1回目は、問題の読解ができていないため、AIの英文作成能力が引き出せていない。

「ネットの利用と本の利点を組み合わせ研究にどう役立てるかを50words以内の英文で書きなさい。主語はIとすること。」と、日本語で英文を書くように指示してみる。

指示を変更して再度入力!

返ってきた!

この解答は・・・・・

ヤバい・ヤバすぎる・・・

【ChatGPTの解答】
I can utilize both the internet and books to support my research by combining their respective advantages. The internet provides access to vast amounts of up-to-date information, while books offer in-depth analysis and expertise on specific topics. By utilizing both resources, I can gain a well-rounded understanding of my subject.(49字)

<上記の日本語訳>
インターネットと書籍、それぞれの利点を組み合わせて研究をサポートすることができます。 インターネットは膨大な量の最新情報へのアクセスを提供し、書籍は特定のトピックに関する詳細な分析と専門知識を提供します。 両方のリソースを活用することで、自分の主題を総合的に理解することができます。

浦和や浦浦和一女受験者で、このレベルを書ける受験生がいるのだろうか?

First, Second・・・といったステレオタイプな英文でなく、ネットの利点と書籍の利点を正確に記した上で、自分の研究に役立てるという論理を作っている。

これが20秒でできるなんて・・・・

これは、10点中10点が取れる完全答案である。

ここから分かったことは・・・・

ChatGPTは、英作文の模範解答を書いてくれるということだ。

(そのためには、適切な指示が必要だが)

上位高校を目指す生徒たちは、英作文に困ったら、ChatGPTに聞くことになるのか・・・・

並みの教師よりも、AIの方が優れているとは、世も末である。

スポンサーリンク

ChatGPTの国語の実力は

次に、国語の作文。

所詮、舶来の代物。独自の文法構造を持つ、日本語などは理解できるはずもない。

これでも解いてみろ!

東京都2022年 国語から

問5  「コンピュータ化できない人間の考え方」というテーマで自分の意見を発表することになった。このときにあなたが話す言葉を具体的な体験や見聞も含めて二百字以内で書け。

本当は課題文があるのだが、割愛している。「コンピュータ化」とは何か、この問いでは分からないが、そこはコンピュータなら分かるはずだとしよう。

ちなみ に、東京都教育委員会の答えは

【東京都教育委員会 解答】
筆者は、コンピュータ化できない部分を含む「脱既存概念の考え方」は人間特有のものだと述べています。また、人間は自分がどう生きるべきかといった高度な考え方をするとも述べています。私は、自分の力で未来を切りひらくために、考え続けたいと思います。

これもChatGPTの答えを期待して待つ

問題を投入!

返ってきた!

ChatGPTの解答は次のようだ。

人間の考え方は、コンピューターには表現することのできない複雑さを持っています。例えば、人間は感情、経験、文化などの情報から考えを形成しますが、これらを素早く判断することは難しいものです。また、人間は直感的な判断や推論も行いますが、これらは理性的な解析によっては説明ができないものもあります。そのため、人間の考え方はコンピューターによって完全に理解されることは難しいと言えます。

東京都の「コンピュータ化」という部分には触れていないこと、具体的な体験が記載されていないことは減点ポイントだ。しかし、無難な解答ができている。

具体的な体験や、見聞と言う部分には触れていない。そのあたりの問いは読み取れなかったようだ。

「コンピュータ化」を説明していないことと、具体的な体験がないことから、10点中5点といったところだ。もっともらしく書いてあるが、中身がスカスカなのは、採点者には見透かされてしまうだろう。

ただし、ここまでもっともらしく書くと、5点にするのにも勇気が必要だ。これだけスカスカな内容を自信たっぷりに述べるとは、まるで小泉●次郎氏のようである。(私はそんな小泉氏が嫌いではないが)


「今のままではいけないと思います。だからこそ、日本は今のままではいけないと思っている」

小泉●次郎氏

スポンサーリンク

ChatGPTの数学の実力は

次は数学にしよう。

【愛知県2022年 数学】

1から9までの9個の数字から異なる3個の数字を選び,3けたの整数をつくるとき,つくることができる整数のうち,1番大きい数をA,1番小さい数をBとする。例えば,2,4,7を選んだときは,A=742,B=247となる。

A-B=396となる3個の数字の選び方が全部で何通りあるかを,次のように考えた。

選んだ3個の数字を,a,b,c (a>b>c) とするとき,A-Bをa,b,cを使って表すとどう表せるか。

この式を利用することにより,A-B=396となる3個の数字の選び方は,全部で何 通りあるか。

本来の解答は、次のようである。

Ⅰ ( 99(ac) )
( 15 )

ChatGPTに問題を

結果はどうだ!!!

ChatGPTの解答

この問題に対する解法は次のようになります。

a>b>c のため、a = 9、b = 8、c = 7 とすることができます。このとき、A = 987、B = 789 であり、A - B = 198 です。このとき、A - B = 396 になるように b、c の値を変えていくことができます。

b = 8、c = 6 のとき、A = 986、B = 876 であり、A - B = 110 です。このとき、A - B = 396 になるように b、c の値を変えていくことができます。

b = 7、c = 6 のとき、A = 976、B = 769 であり、A - B = 207 です。このとき、A - B = 396 になるように b、c の値を変えていくことができます。

以上の3通りが全ての整数の選び方です。よって、A - B = 396 となる3個の数字の選び方は全部で3通りあります。

そもそも文字で表すという問題の趣旨を見誤っている。得点は0点だ。数学はまだ安泰。

ChatGPTの理科の実力は

理科!

2022年 茨城県の問題にしよう。

小問ということで、AIに分かりやすいものにする。

まだ画像があるとだめだろう。

問1  家庭用のコンセントの電源には交流が使われており,スマートフォンなどの充電器は,交流を直流に変換している。交流の説明として正しいものを,次のア~エの中から一つ選んで,その記号を書きなさい。

ア  電流の流れる向きが周期的に入れかわる。

イ  乾電池につないだ回路に流れる。

ウ  電圧の大きさは常に100Vである。

エ  DCと表現することがある。

ちなみに教育委員会の答えは

問1の正答は ア である。

問題を投入!

結果は!!

げげげ・・・・

正答を出してきた。

但し、そんなことは信じない。

もう1問で勝負だ!

問2  次の文は,ある気体の性質について説明したものである。これに当てはまる気体を,あとのア~エの中から一つ選んで,その記号を書きなさい。

この気体は肥料の原料やガス冷蔵庫などの冷却剤として用いられている。また,無色で特有の刺激臭があり,水にひじょうに溶けやすい性質がある。

ア  酸素     イ  二酸化炭素     ウ  水素     エ  アンモニア

正答は エ 

ChatGPTにもう1題、問題を投入!

返ってきた!

げげげげげげげげげっげえg・・・・・

こちらも正解を出してきた。

これはまぐれではないようだ。

理科は、プレーンテキストの問題であれば、解答をしてくるようだ。

理科は2問中2問完答

スポンサーリンク

ChatGPTの社会の実力は

最後に社会の問題

これは、ChatGDPの得意分野では・・と考ええいる。

最後に社会!

2022年 沖縄県から2題

まあ、この程度の問題ならできるでしょう。

できたところで驚きもしないし、人間の脅威にもならない。

問6 ヨーロッパ州に関連して,EU(ヨーロッパ連合)の説明文として正しいものを,次のア~エのうちから2つ選び,記号で答えよ。

ア 多くの加盟国間では,国境の行き来が自由になったため,EU域内のどこでも働くことができるようになった。

イ すべての加盟国が共通通貨ユーロを導入しているため,両替をせずに買い物ができる。

ウ 加盟国間は関税がかからないため,EU域内の農作物や工業製品の貿易がさかんになった。

エ EU域内では,西ヨーロッパと東ヨーロッパの国々の間にみられた経済格差は解消した。

解答は、問6 ア・ウ 

問題を投入!

結果はどうだ・・・???

エラー発生!!! 

2つ選べは難しいのか??

もう1題

問7 アフリカ州に関連して,次の文はアフリカ諸国の国境線の成り立ちを説明したものである。文中( Y )に当てはまる語句を漢字3字で答えよ。

アフリカ大陸では,ヨーロッパ諸国の( Y )として分割された時に,民族のまとまりを無

視して引かれた境界線が独立後の国境となったところも多く,今も民族紛争の一因となっている。

問7の正答 植民地 

ChatGPTに問題を投入!

まさかの誤答。「分割」とは・・・

ヨーロッパ諸国の(Y)として分割された・・・のYに「分割」を入れてしまっている。

しかも漢字3文字を2文字で書くという大失態。

設問がストレートでない場合には、ChatGPTが苦手なよう。

社会は2問とも0点

意外にも社会ができなかった。

スポンサーリンク

2023年2月時点の感想

まだChatGPTに脅かされるのは先のようである。

しかし、一旦問いの理解がされたら、正確な解答をしてくる恐ろしさがある。

英語の英作文も、問の方法を変えれば限りなく正答に近いものを出してくる。

限定した使い方をすれば、ChatGPTが有効である。

しかし、まるまるプレーンテキストでない問題を理解するのは、まだ先のようだ。

AIに駆逐されないためには、AIに指示を出したり、AIが出した答えを本来の解答と比較検討し、合理的なものにするステップが必要である。

AIは、もっともらしく滔々と述べるが、述べていることが正しいとは限らないし、根拠もないこともある。しばらくは、AIが答えを出せるように指示を出すことや、AIの出した答えをチェックすること必要であるだろう。

その次はどうなるか分からないが、AI自身が自律的なものになるまでは、人間がAIを利用する時間はまだ残っていそうである。

DX(デジタルトランスフォーメーション)や、AIへの置き換えが進む中、AIへの「指示出し」と「チェック」にどう我々の仕事を移行させていくかが重要だ。これを考えると夜も眠れない。

最後にChatGPTからひとこと

最後に、ChatGPTに、受験問題が解けないことを尋ねてみたら、次の解答が得られた。

意外と謙虚なヤツである。

【ChatGPTの回答】
はい、現在のところAIモデルは受験問題をとくことはできません。AIモデルは人間から与えられたテキストデータから学習し、そのテキストデータに基づいて新しいテキストを生成することができます。しかし、複雑な数学的概念や知識を含む受験問題を正確に理解して解決することは現在のところ難しいとされています。

AIも問題が解けないことを自認にしているようである。

殊勝な心掛けだ。ただし、この殊勝さは仮面であり、仮面の下で反撃の機会を狙っている。

急げ、人間たち!

コメント

タイトルとURLをコピーしました