追記

OpenSSL でも試した。

$ openssl s_client -CAfile ca-bundle.crt -connect imap.mail.me.com:993 -showcerts
CONNECTED(00000003)
depth=2 /C=US/O=VeriSign, Inc./OU=VeriSign Trust Network/OU=(c) 2006 VeriSign, Inc. - For authorized use only/CN=VeriSign Class 3 Public Primary Certification Authority - G5
verify error:num=20:unable to get local issuer certificate
verify return:0

$ openssl s_client -CAfile email.crt -connect imap.mail.me.com:993 -showcerts
CONNECTED(00000003)
depth=3 /C=US/O=VeriSign, Inc./OU=Class 3 Public Primary Certification Authority
verify return:1
depth=2 /C=US/O=VeriSign, Inc./OU=VeriSign Trust Network/OU=(c) 2006 VeriSign, Inc. - For authorized use only/CN=VeriSign Class 3 Public Primary Certification Authority - G5
verify return:1
depth=1 /C=US/O=VeriSign, Inc./OU=VeriSign Trust Network/OU=Terms of use at https://www.verisign.com/rpa (c)10/CN=VeriSign Class 3 Secure Server CA - G3
verify return:1
depth=0 /C=US/ST=California/L=Cupertino/O=Apple Inc./CN=*.mail.me.com
verify return:1

となり、OpenSSL でも同じ状態なのがわかった。ここで表示されている G5 は、G5(-2021) のほうみたい。ca-bundle.crt には G3、G5(2036) しか入ってないので検証ができず、email.crt には G3、G5(2036)、無印が入っており、G5(2021) はないが、無印のがあるので検証できたったことなのかな。
そうすると、OpenSSL 自体の問題ってこと? あるいはサーバ側の問題?