非常にややこしいことに、キャッシュレス決済の「楽天Pay」にはアプリ（スマホ必要）とオンライン決済（スマホ不要）の２つがあります。
ご存知でしたでしょうか？私は知らずに使おうとして罠（？）にはまりかけました。
他にも混乱してしまう人が絶対いるだろうなとおもったので、対処方法を書き残しておきます。
楽天ペイには決済方法が2つあり、アプリ決済（店舗）では注意点がある
楽天ペイの２つの決済のうち、オンライン決済のほうでは3Dセキュア非対応クレジットカード（プリペイド系）を利用することができます。
しかし、コンビニ等実際の店舗での決済に使うアプリ（スマホ必要）版の楽天ペイでは3Dセキュア非対応クレジットカードは使うことができません。
これはどういうことかというと、アプリ版の楽天ペイにクレジットカードを登録しようとすると、画像のような「本人認証サービス（3Dセキュア）のパスワードを入力してください」という画面が出てきます。
つまり、3Dセキュア非対応カードの場合、パスワードが存在せずカードの紐づけ作業を完了することができないので、使用できないということなのです。
無理に「パスワードを入力する」を押して進もうとしても、「カードの本人認証に失敗しました」と出るだけでうまく進みません。
現状ではどうやっても登録できないようになっているみたいです。
「以下の理由にお心当たりがないかご確認ください」の欄にも、「本人認証サービス（3Dセキュア）に対応していないカードを選択している」とあるので、システム的にも使用不可のようです。
このためオンライン決済のほうの楽天ペイや、楽天市場では3Dセキュア非対応カード（Kyash）も普通に使えるのですが、スマホアプリ版では使うことができなくなっています。
KyashはKyashで政府のポイント還元事業に参加しているためポイントの二重取りを防ぐため登録できないのかな？とも思いましたが、使う側からすると非常に不便ですね…
本人認証サービスを利用したサイトは増えつつありますし、Kyashが3Dセキュア対応になってくれるのを祈るばかりです。
→2021/2追記：Kyashがついに3Dセキュア対応になりました！