You can't infer that...

/juː kɑːnt ɪnˈfɜːr ðæt/ ユー カント インファー ザット

1. それは推論できない。/ それを推測することはできない。

ある情報や事実から、論理的に別の結論を導き出すことが不可能であることを表します。断定的な判断を避けるよう促すニュアンスがあります。
Just because he smiled, you can't infer that he agreed. (彼が笑ったからといって、同意したとは推測できない。)
関連
You can't assume that...
It doesn't mean that...
You shouldn't deduce that...
It's not logical to conclude that...