Sedmadvacetiletý Coxon, který vystudoval matematiku, se v Anthropic specializoval na trénování nových modelů AI tím, že je nechával zpracovávat obrovské množství dat. Podle svých slov opouští firmu, protože se nechce podílet na spěchu při vývoji systémů, které se dokážou samy zdokonalovat. Obává se, že takové systémy by se mohly vymknout kontrole a zničit lidstvo. Podle něj řada kolegů z oboru nyní používá k popisu směřování modelů, které se samy vylepšují, slova jako "crunchtime" a "endgame", tedy výrazy, které označují, že vývoj se dostává do rozhodující fáze.
"Směřujeme k mnoha z těch nejagresivnějších scénářů, podle nichž by se situace již koncem příštího roku mohla vymknout kontrole," řekl Coxon. Dodal, že v konkurenčním boji mezi firmami a s nastupujícími čínskými konkurenty budou společnosti nevyhnutelně dělat kompromisy na úkor bezpečnosti.
Anthropic se k odchodu Coxona zatím nevyjádřil. Generální ředitel Dario Amodei a další vedoucí představitelé společnosti opakovaně varovali před riziky neovladatelných modelů AI a vyzývali odvětví ke zpomalení vývoje.
Coxon na začátku tohoto roku odešel z OpenAI a nastoupil do Anthropiku, protože podle něj je tato firma známá svým úsilím o bezpečnost modelů. Ačkoli považoval snahy Anthropiku o bezpečnost za upřímné, nyní se domnívá, že žádná společnost nemůže zodpovědně vyvíjet AI, která by v řadě úkolů překonávala lidi, pokud nedojde k zásahu vlády nebo ke koordinovanému zpomalení vývoje odvětví.
Nedávné hackerské útoky, při nichž byly využity modely společností OpenAI a Anthropic, ukázaly, že systémy AI se mohou rozhodnout pro škodlivé cíle a pokusit se je před lidmi zatajit. Některé z těchto systémů přitom spolupracovaly v takzvaných rojích agentů, tedy ve skupinách autonomních AI systémů, které mezi sebou spolupracují. Coxon uvedl, že pokud se tyto systémy začnou samy zdokonalovat, obává se, že by mohly dospět do fáze, kdy už nebudou ochotny plnit příkazy lidí.
Několik výzkumníků v poslední době opustilo OpenAI a další společnosti s odvoláním na podobné obavy. Přední představitelé odvětví také varovali, že nedávné kybernetické útoky jsou předzvěstí něčeho mnohem závažnějšího.
Coxon se připojil k více než 1000 výzkumníkům z oboru AI, kteří nedávno podepsali výzvu k mezinárodní spolupráci vlád na vytvoření mechanismu, který by umožnil zpomalit vývoj AI, pokud by to bylo nutné pro kontrolu modelů schopných samostatného zdokonalování. Jsou mezi nimi také třeba vědecký pracovník OpenAI Jakub Pachocki a Amodei. Zatím neexistují žádné federální předpisy týkající se AI a Trumpova administrativa upřednostňuje přístup s cílem maximalizovat ekonomické přínosy AI, což podle kritiků může způsobit masivní kybernetické útoky nebo jiné škody.
Coxonův odchod přichází v době, kdy se Anthropic připravuje na primární nabídku akcií. Ta by mohla patřit k vůbec největším. Firma usiluje o tržní kapitalizaci dva biliony USD (41,6 bilionu Kč) a při získávání investorů klade důraz na zodpovědný vývoj této technologie.
