しばらく前から、グラフィックアクセラレータが発売されると、そのたびにAfterEffectsのレイトレースが使えなくなるという現象が繰り返されています。
これはAfterEffectsのGPU対応のスピードが追い付いていないことに起因しますが、基本的に今後は対応していかない方針のようです。
公式にサポートされているGPUはAdobeのサイトで公開 されています。
この問題で一番深刻なのが3Dの高度な設定にあるレンダリング方法。
レイトレースを選択すると、最悪の場合クラッシュしてしまいます。この回避方法はいくつかありますが、経験上複数の回避方法をとってみないと、システムに該当する正しい回避方法がなかなかわかりません。
nVidiaの場合、ひとつ確実なのはインストールフォルダ/Support Files/optix.1.dllで、このファイルのバージョンによってクラッシュするようです。
このoptixはリアルタイムレイトレースエンジンで、今のところ2016年10月にリリースされている16MBくらいのファイル容量のもの が、一番問題が少ないようです。
最新のoptixはnVidiaからダウンロード が可能です。
古いバージョンのoptixもダウンロード が可能です。