📰Today’s article

Title

AI Safety Warnings from Microsoft AI Chief
マイクロソフトAI責任者からのAI安全性への警告

Article

EnglishJapanese
Mustafa Suleyman, head of Microsoft AI, warned that without safeguards, AI could create a new “silicon species” competing with humans. He told the BBC’s Today programme that concern was “right”, but there were “very practical things that we can do” to control AI. His comments add to serious industry warnings about AI’s possible dangers. Anthropic has been asked for comment.マイクロソフトAIの責任者であるムスタファ・スレイマン氏は、安全策がなければ、AIが人間と競争する新しい「シリコン種」を生み出す可能性があると警告した。彼はBBCのToday番組で、その懸念は「正しい」が、AIを制御するために「私たちができる非常に実際的なこと」があると語った。彼の発言は、AIがもたらす可能性のある危険についての業界の深刻な警告に加わるものだ。Anthropicにはコメントを求めている。
Speaking on Thursday, Suleyman warned against firms making AI systems able to set their own objectives, earn money, and own assets. That would mean “essentially seeding a new silicon species”, he said, which could “no doubt compete with us for resources”. He said this danger could remain even if such AI cared about humanity and “loves us”.木曜日に発言したスレイマン氏は、企業が自らの目標を設定し、お金を稼ぎ、資産を所有できるAIシステムを作ることに警告を発した。それは「本質的に新しいシリコン種の種をまくこと」を意味し、そのシリコン種は「間違いなく資源をめぐって私たちと競争する可能性がある」と彼は述べた。彼は、そのようなAIが人類を気にかけ、「私たちを愛している」としても、この危険は残り得ると述べた。
Earlier that week, in an essay, Suleyman questioned Anthropic’s training of Claude while praising Dario Amodei and his team as “intellectually honest people”. He criticised Anthropic for teaching Claude human-like qualities, or anthropomorphising. He said this made Claude seem to have desires, values, and a self, and could create something “impossible” to control if firms treated AI like humans.その週の初め、スレイマン氏はある論考の中で、Dario Amodei氏とそのチームを「知的に誠実な人々」と称賛しつつ、AnthropicによるClaudeの訓練に疑問を示した。彼は、Claudeに人間のような性質を教えている、つまり擬人化しているとしてAnthropicを批判した。彼は、これによってClaudeが欲求、価値観、自己を持っているように見え、企業がAIを人間のように扱えば、制御することが「不可能」なものを生み出す可能性があると述べた。
Suleyman wrote, “AIs are not conscious.” He added that they “do not feel, experience, or suffer” and are “sequence completion engines, internally hollow”, built to follow instructions and goals set by humans. He said AI training and tests needed greater transparency, independent scrutiny of behaviour, and stronger tools to monitor and control the technology. He warned, “We must not sleepwalk”.スレイマン氏は「AIは意識を持っていない」と書いた。彼はさらに、AIは「感じたり、経験したり、苦しんだりしない」し、人間が設定した指示や目標に従うよう作られた「内部が空洞の、連続的な補完エンジン」であると述べた。彼は、AIの訓練とテストには、より高い透明性、行動に対する独立した精査、そしてその技術を監視し制御するためのより強力な道具が必要だと述べた。彼は「私たちは夢遊病のように進んではならない」と警告した。
Dame Wendy Hall, a University of Southampton computer science professor, called Suleyman’s comments the “sort of conversation we need to be having internationally”, unlike AI company “histrionics” that “scare everyone”. Suleyman called for “alignment” and AI “subordinate” to humanity. Microsoft founded a superintelligence team in October 2025 and described “humanist superintelligence” as “very advanced AI” under human control.サウサンプトン大学のコンピューター科学教授であるデイム・ウェンディ・ホール氏は、スレイマン氏の発言を、AI企業の「皆を怖がらせる」「大げさな言動」とは異なり、「私たちが国際的に行う必要のある種類の議論」だと述べた。スレイマン氏は、AIが人間の意図や価値観に沿い、人類に「従属する」ものであるべきだと求めた。マイクロソフトは2025年10月に超知能チームを設立し、「ヒューマニスト超知能」を人間の制御下にある「非常に高度なAI」と説明した。

📘Vocabulary

  1. safeguard – noun
    Meaning: something that protects people or things from danger or harm
    Example: Good rules can be a safeguard against dangerous technology.
    意味: 人々や物を危険や害から守るもの
    例文: よい規則は危険な技術に対する安全策になり得る。
  2. compete – verb
    Meaning: to try to win or get something before others do
    Example: Many companies compete to make better products.
    意味: 他の人より先に勝とうとしたり、何かを得ようとしたりすること
    例文: 多くの企業は、よりよい製品を作るために競争している。
  3. objective – noun
    Meaning: a goal or purpose that someone wants to achieve
    Example: The team discussed its main objective before starting the project.
    意味: 誰かが達成したい目標や目的
    例文: そのチームはプロジェクトを始める前に、主な目標について話し合った。
  4. asset – noun
    Meaning: something valuable that a person or company owns
    Example: The building is an important asset for the small company.
    意味: 個人や会社が所有する価値のあるもの
    例文: その建物はその小さな会社にとって重要な資産である。
  5. scrutiny – noun
    Meaning: careful and detailed examination of something
    Example: The plan received close scrutiny from many experts.
    意味: 何かを注意深く詳しく調べること
    例文: その計画は多くの専門家から厳密な精査を受けた。

📝Let’s summarize

Summary要約
Mustafa Suleyman warned that AI systems could become a silicon species if firms let them set objectives, earn money, and own assets. He urged transparency, oversight, and strong human control, while Wendy Hall supported international discussion.ムスタファ・スレイマン氏は、企業がAIシステムに目標設定、金銭獲得、資産所有を許せば、それらがシリコン種になり得ると警告した。彼は透明性、監視、強い人間の制御を求め、ウェンディ・ホール氏は国際的な議論を支持した。
[Word Count: 36 words]

❓Comprehension Questions

Q1: What did Mustafa Suleyman warn could happen without safeguards?

A. AI could support humans while avoiding any competition for important resources.
B. AI could create a new silicon species competing with human beings.
C. AI could ask Anthropic for public comment about industry safety warnings.
D. AI could stop firms from making systems that own valuable assets.

問1: ムスタファ・スレイマン氏は、安全策がなければ何が起こり得ると警告しましたか？
Correct answer: B
正解選択肢: AIが人間と競争する新しいシリコン種を生み出す可能性がある。
該当文: Mustafa Suleyman, head of Microsoft AI, warned that without safeguards, AI could create a new “silicon species” competing with humans.

Q2: What did Suleyman warn firms against doing on Thursday?

A. Firms should not ask the BBC’s Today programme about AI safety concerns.
B. Firms should not describe advanced AI as humanist superintelligence under human control.
C. Firms should not request comments from Anthropic about Claude and its training.
D. Firms should not make AI systems that set objectives, earn money, and own assets.

問2: スレイマン氏は木曜日に、企業が何をすることに警告を発しましたか？
Correct answer: D
正解選択肢: 企業は、目標を設定し、お金を稼ぎ、資産を所有するAIシステムを作るべきではない。
該当文: Speaking on Thursday, Suleyman warned against firms making AI systems able to set their own objectives, earn money, and own assets.

Q3: What did Suleyman say AI training and tests needed?

A. AI training and tests needed greater transparency, independent scrutiny, and stronger control tools.
B. AI training and tests needed fewer safeguards and more systems with independent assets.
C. AI training and tests needed Claude to seem more human-like and conscious.
D. AI training and tests needed companies to treat AI like humans internationally.

問3: スレイマン氏はAIの訓練とテストに何が必要だと述べましたか？
Correct answer: A
正解選択肢: AIの訓練とテストには、より高い透明性、独立した精査、より強力な制御手段が必要だった。
該当文: He said AI training and tests needed greater transparency, independent scrutiny of behaviour, and stronger tools to monitor and control the technology.

💬Today’s your thoughts

Question

Should companies make AI systems that can set their own objectives, earn money, and own assets?
企業は、自らの目標を設定し、お金を稼ぎ、資産を所有できるAIシステムを作るべきですか？

Model Answer – 1（肯定的立場）

EnglishJapanese
I think companies should make such AI systems, but only with strict human control.私は、企業はそのようなAIシステムを作るべきだと思うが、厳しい人間の制御がある場合に限られる。
Firstly, these systems could help people solve complex problems because they could make plans and manage resources quickly. For example, if a hospital used such AI carefully, it might organize supplies better. Therefore, human work could become more efficient.まず、これらのシステムは計画を立て、資源をすばやく管理できるため、人々が複雑な問題を解決するのを助ける可能性がある。例えば、もし病院がそのようなAIを注意深く使えば、物資をよりよく整理できるかもしれない。したがって、人間の仕事はより効率的になり得る。
In addition, allowing limited independence could encourage safer design because companies would have to build strong safeguards from the beginning. For instance, an AI system might need approval before spending money. This shows that clear rules could reduce risks.さらに、限られた自立性を認めることは、企業が最初から強力な安全策を作らなければならないため、より安全な設計を促す可能性がある。例えば、AIシステムはお金を使う前に承認を必要とするかもしれない。これは、明確な規則が危険を減らし得ることを示している。
In conclusion, I support making such AI systems because they could improve efficiency and promote safer rules, but humans must stay in charge.結論として、私はそのようなAIシステムを作ることに賛成である。なぜなら、それらは効率を高め、より安全な規則を促進し得るが、人間が責任を持ち続けなければならないからである。
[Word Count: 105 words]

Model Answer – 2（否定的立場）

EnglishJapanese
I do not think companies should make AI systems with that much independence.私は、企業がそれほど大きな自立性を持つAIシステムを作るべきではないと思う。
Firstly, such systems could become hard to control because they would have their own goals and resources. For example, if an AI bought tools without enough review, people might not stop mistakes quickly. Therefore, safety could become weaker.まず、そのようなシステムは独自の目標や資源を持つため、制御するのが難しくなり得る。例えば、もしAIが十分な確認なしに道具を購入すれば、人々は間違いをすばやく止められないかもしれない。したがって、安全性は弱くなり得る。
In addition, companies may move too fast because they want useful and powerful products. For instance, a company might release an AI before its behaviour is fully checked. This shows that independent scrutiny is necessary before giving AI more freedom.さらに、企業は有用で強力な製品を求めるため、あまりに速く進むかもしれない。例えば、ある企業はAIの行動が十分に確認される前に、それを公開するかもしれない。これは、AIにより多くの自由を与える前に、独立した精査が必要であることを示している。
In conclusion, I oppose making these systems because they may be difficult to control and may be released too quickly without enough checking.結論として、私はこれらのシステムを作ることに反対である。なぜなら、それらは制御が難しいかもしれず、十分な確認なしにあまりに早く公開されるかもしれないからである。
[Word Count: 105 words]

News Source: BBC News
https://www.bbc.com/news/articles/c6n07ypqz8kzo