是非之惑

前一阵子看了连岳的一篇博文《速看，文本短命》（现在已被和谐），文章大意是：人不应该因言获罪，一个人可以说任何他/她想说的话，这是言论自由。
我想了想，根据连岳的这个说法，言论自由应该属于天赋人权之列。既然是“可以说任何话”，那应该包括赞扬、批评、辱骂等。这样一来，不就会损害到他人的人格尊严权吗？那么人格尊严权就不是属于天赋人权了。
我想，如果前提是对的，那我的这个推论也应该成立。但是，从我的常识来看，这个推论是错的。
这就很矛盾了，究竟哪个观点是对的？