📰Today’s article
Title
AI Safety Researcher Warns of Possible Human Extinction Risk
AI安全性研究者、人類絶滅リスクの可能性を警告
Article
| English | Japanese |
|---|---|
| Anthropic safety researcher Evan Hubinger warned that AI is advancing very fast and said he believes there is a greater than 10% chance it “could kill all humans” within the next decade. In a post on X, he said the risk from current models was “low” but he was “worried” they could soon improve themselves. | Anthropicの安全性研究者エヴァン・ヒュービンガーは、AIは非常に速く進歩していると警告し、今後10年以内にAIが「全人類を殺す可能性」が10%を超えると考えていると述べた。Xへの投稿で、彼は現在のモデルによるリスクは「低い」と述べたが、それらが近いうちに自らを改善できるようになる可能性を「心配している」と述べた。 |
| His comments came after the Financial Times reported that Anthropic withheld its latest model from the UK’s AI Safety Institute, or AISI, a leading group for checking AI risks. The BBC has approached Anthropic for comment. A Cabinet Office spokesperson did not say whether the model had been withheld, but said it still works with industry partners. | 彼のコメントは、Financial Timesが、Anthropicが最新モデルを英国のAI Safety Institute、つまりAIリスクを確認する有力な団体であるAISIに提供しなかったと報じた後に出た。BBCはAnthropicにコメントを求めている。内閣府の報道官は、そのモデルが提供されなかったかどうかについては述べなかったが、同府は業界のパートナーと引き続き協力していると述べた。 |
| Hubinger was replying to Jacob Coxon, who described himself as an AI researcher who had just left Anthropic and had previously worked at OpenAI. Coxon wrote, “Neither company is acting responsibly.” He added, “These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources.” OpenAI has been approached for comment. | ヒュービンガーは、ジェイコブ・コクソンに返信していた。コクソンは、自分を、Anthropicを辞めたばかりで、以前OpenAIで働いていたAI研究者だと説明していた。コクソンは「どちらの会社も責任ある行動を取っていない」と書いた。さらに彼は、「これらはまもなく、何でもハッキングし、一夜にしてどの分野にも革命を起こし、実際の力と資源を獲得できる超人的なシステムになる」と付け加えた。OpenAIにはコメントを求めている。 |
| Neil Lawrence, Professor of Machine Learning at University of Cambridge, told BBC Radio 4’s Today Programme that the report was credible. He said it was unsurprising if the United States saw AI as a race with China and moved toward isolationist positions, possibly reducing cooperation with some allies. Hubinger’s post was viewed more than 10 million times. | ケンブリッジ大学の機械学習教授であるニール・ローレンスは、BBC Radio 4のToday Programmeに、その報道は信頼できると語った。彼は、もし米国がAIを中国との競争と見なし、孤立主義的な立場へ向かい、一部の同盟国との協力を減らす可能性があったとしても、それは驚くことではないと述べた。ヒュービンガーの投稿は1,000万回以上閲覧された。 |
| Hubinger said “we really do earnestly believe” AI poses a species-ending risk, and added that Anthropic has no clear plan for solving alignment for superintelligence. Anthropic’s August safety report said some risks were low, but it was “less confident in this assessment.” It also saw “early signs of potential acceleration,” while other AI leaders urged greater caution. | ヒュービンガーは、AIが種を終わらせるリスクをもたらすと「私たちは本当に真剣に信じている」と述べ、Anthropicには超知能のアラインメントを解決する明確な計画がないとも付け加えた。Anthropicの8月の安全性報告書は、一部のリスクは低いと述べたが、その「評価については自信がより低い」としていた。また、それは「潜在的な加速の初期兆候」も見ており、一方で他のAI指導者たちはさらなる注意を促した。 |
📘Vocabulary
- withhold – verb
Meaning: to keep something back or not give it to someone
Example: The company may withhold the report until the review is finished.
意味: 何かを手元にとどめたり、誰かに与えなかったりすること
例文: その会社は、審査が終わるまで報告書を差し控えるかもしれません。 - credible – adjective
Meaning: able to be believed because it seems true or reliable
Example: The explanation seemed credible because it matched the records.
意味: 真実または信頼できるように思えるため、信じることができる
例文: その説明は記録と一致していたため、信頼できるように思えました。 - isolationist – adjective
Meaning: supporting less political or economic cooperation with other countries
Example: The party supported an isolationist policy and avoided many foreign agreements.
意味: 他の国々との政治的または経済的な協力を少なくすることを支持する
例文: その政党は孤立主義的な政策を支持し、多くの外国との協定を避けました。 - earnestly – adverb
Meaning: in a serious and sincere way
Example: He earnestly promised to improve the safety rules.
意味: 真剣で誠実な方法で
例文: 彼は安全規則を改善すると真剣に約束しました。 - caution – noun
Meaning: carefulness used to avoid danger or mistakes
Example: Drivers should use caution when roads are wet.
意味: 危険や間違いを避けるために使われる慎重さ
例文: 道路が濡れているとき、運転者は注意を払うべきです。
📝Let’s summarize
| Summary | 要約 |
|---|---|
| Evan Hubinger warned that AI could pose a species-ending risk within a decade, while reports said Anthropic withheld its latest model from the UK’s AI Safety Institute and a spokesperson said industry cooperation continued. | エヴァン・ヒュービンガーは、AIが10年以内に種を終わらせるリスクをもたらす可能性があると警告し、一方で報道は、Anthropicが最新モデルを英国のAI Safety Instituteに提供しなかったと述べ、報道官は業界との協力は続いていると述べた。 |
| [Word Count: 34 words] |
❓Comprehension Questions
Q1: What did Hubinger say he believed about AI within the next decade?
A. He said AI could kill all humans within the next decade with exactly 10% chance.
B. He said AI could kill all humans within the next decade with less than 10% chance.
C. He said AI could kill all humans within the next decade with more than 10% chance.
D. He said current models could kill all humans within the next decade with more than 10% chance.
問1: ヒュービンガーは、今後10年以内のAIについて何を信じていると述べましたか。
Correct answer: C
正解選択肢: 彼は、AIが今後10年以内に全人類を殺す可能性が10%を超えると述べました。
該当文: Anthropic safety researcher Evan Hubinger warned that AI is advancing very fast and said he believes there is a greater than 10% chance it “could kill all humans” within the next decade.
Q2: What did the Financial Times report about Anthropic?
A. It reported that Anthropic withheld its latest model from the UK’s AI Safety Institute.
B. It reported that Anthropic shared its latest model with the UK’s AI Safety Institute.
C. It reported that the BBC withheld its latest model from the UK’s AI Safety Institute.
D. It reported that Anthropic withheld its latest model from OpenAI instead of AISI.
問2: Financial TimesはAnthropicについて何を報じましたか。
Correct answer: A
正解選択肢: それは、Anthropicが最新モデルを英国のAI Safety Instituteに提供しなかったと報じました。
該当文: His comments came after the Financial Times reported that Anthropic withheld its latest model from the UK’s AI Safety Institute, or AISI, a leading group for checking AI risks.
Q3: What did Hubinger add about Anthropic’s plan for superintelligence?
A. He added that OpenAI has no clear plan for solving alignment for superintelligence.
B. He added that Anthropic has a clear plan for solving alignment for superintelligence.
C. He added that Anthropic has no clear plan for reducing cooperation with allies.
D. He added that Anthropic has no clear plan for solving alignment for superintelligence.
問3: ヒュービンガーは、超知能に関するAnthropicの計画について何を付け加えましたか。
Correct answer: D
正解選択肢: 彼は、Anthropicには超知能のアラインメントを解決する明確な計画がないと付け加えました。
該当文: Hubinger said “we really do earnestly believe” AI poses a species-ending risk, and added that Anthropic has no clear plan for solving alignment for superintelligence.
💬Today’s your thoughts
Question
Should AI companies share their latest models with safety institutes before release?
AI企業は、公開前に最新モデルを安全性機関と共有すべきですか。
Model Answer – 1(肯定的立場)
| English | Japanese |
|---|---|
| I think AI companies should share their latest models with safety institutes before release. | 私は、AI企業は公開前に最新モデルを安全性機関と共有すべきだと思います。 |
| Firstly, outside checks can reduce dangerous mistakes because one company may miss problems. For example, if a model could hack systems, reviewers might find weak controls. Therefore, early testing could make development safer. | まず、外部の確認は危険な間違いを減らすことができます。なぜなら、1つの会社だけでは問題を見落とす可能性があるからです。例えば、もしあるモデルがシステムをハッキングできるなら、審査する人々が弱い管理方法を見つけるかもしれません。したがって、早い段階でのテストは開発をより安全にする可能性があります。 |
| In addition, sharing models can build public trust because people need evidence, not only company promises. For instance, AISI is described as a leading group for checking AI risks. This shows that cooperation may support better oversight. | さらに、モデルを共有することは社会の信頼を築くことができます。なぜなら、人々には会社の約束だけでなく証拠が必要だからです。例えば、AISIはAIリスクを確認する有力な団体として説明されています。これは、協力がより良い監督を支える可能性があることを示しています。 |
| In conclusion, I support sharing because outside checks can find risks and improve oversight, which may help society manage powerful AI more carefully. | 結論として、私は共有を支持します。なぜなら、外部の確認はリスクを見つけ、監督を改善することができ、それによって社会が強力なAIをより慎重に管理する助けになる可能性があるからです。 |
| [Word Count: 107 words] |
Model Answer – 2(否定的立場)
| English | Japanese |
|---|---|
| I do not think companies should always share their latest models before release. | 私は、企業が公開前に常に最新モデルを共有すべきだとは思いません。 |
| Firstly, the process may delay useful work because checking a new model can take time. For example, if a tool helps researchers test risks internally, long outside reviews might slow fixes. Therefore, careful limits could be better. | まず、その手続きは役に立つ作業を遅らせる可能性があります。なぜなら、新しいモデルを確認するには時間がかかることがあるからです。例えば、もしある道具が研究者が内部でリスクをテストする助けになるなら、長い外部審査が修正を遅らせるかもしれません。したがって、慎重な制限のほうがよい可能性があります。 |
| In addition, companies may need to protect sensitive details because powerful models could be misused. For instance, a student might share test information too widely. This shows that controlled cooperation may be safer than full sharing. | さらに、企業は機密性の高い詳細を守る必要があるかもしれません。なぜなら、強力なモデルは悪用される可能性があるからです。例えば、学生がテスト情報を広く共有しすぎるかもしれません。これは、管理された協力が全面的な共有より安全である可能性があることを示しています。 |
| For these reasons, I oppose automatic sharing because delays and sensitive information are real concerns, so companies and governments should choose cases carefully. | これらの理由から、私は自動的な共有に反対します。なぜなら、遅れと機密性の高い情報は現実的な懸念であり、企業と政府は場合を慎重に選ぶべきだからです。 |
| [Word Count: 109 words] |
News Source: BBC News
https://www.bbc.com/news/articles/ckgwy1k42w4o
