Onko LLM:ien ajatusketjullinen päättely kangastus? ... Tuloksemme paljastavat, että CoT-päättely on hauras kangastus, joka katoaa, kun se työnnetään koulutusjakelun ulkopuolelle. Tämä työ tarjoaa syvemmän ymmärryksen siitä, miksi ja milloin CoT:n päättely epäonnistuu, ja korostaa jatkuvaa haastetta aidon ja yleistettävän päättelyn saavuttamisessa. ... Tuloksemme paljastavat, että CoT-päättely toimii tehokkaasti, kun sitä sovelletaan sisä- tai lähijakeluun jakelun aikana, mutta siitä tulee haurasta ja alttiita epäonnistumiselle jopa kohtalaisissa jakelumuutoksissa. Joissakin tapauksissa LLM:t tuottavat sujuvia mutta loogisesti epäjohdonmukaisia päättelyvaiheita. Tulokset viittaavat siihen, että jäsennellyltä päättelyltä näyttävä päättely voi olla kangastus, joka syntyy ulkoa opetelluista tai interpoloiduista malleista harjoitusdatassa loogisen päättelyn sijaan. ... Yhdessä nämä havainnot viittaavat siihen, että LLM:t eivät ole periaatteellisia päättelijöitä, vaan pikemminkin päättelyn kaltaisen tekstin hienostuneita simulaattoreita.

2508.01191v2.pdf