我们必须维持最低限度的个人自由，才不致于“贬抑或否定我们的本性”。我们无法享有绝对的自由，因此必须放弃某些自由，以保障其他自由。但是完全的自我放弃，便是自我挫败。那么，这个最低限度应该是什么呢？如果我们抛弃它，就是违逆了我们的人性本质—这就是最低限度的自由。然则，所谓人性本质却又是什么东西？它又隐含了哪些标准呢？对于这个问题，人们一向争论不休，将来也仍会永远争论不休。然而，无论这个不准干涉的范围，是根据什么原则来划定的，无论它是根据自然法、或自然权利、或功利原则、或某种康德所谓的无上命令
（categorieal
imprative）、或社会契约的神圣不可侵犯性、或是人类用来厘清并支持他们的信念的其他任何概念，来订定的，在这种意义之下，自由都是“免于……的自由”（liberty
from…）；也就是：在变动不居的、但永远可以辨认出来的界限以内，不受任何干扰。一位最有名的自由斗士，曾经说过：“惟一能以自由为名，而当之无愧的，是用我们自己的方式，追求我们自己利益的自由。”果真如此的话，我们是否有理由强迫任何人做任何事？
穆勒认为我们毫无疑问地具有这种权利。既然正义的意义，是每个人拥有最低限度的自由，我们当然有必要对其他的人加以约束，必要时还可以强制执行，以使他们不至于剥夺在何人最低限度的自由。其实法律的整个功能，也就是预防这种冲突：在这种情况下，国家就成为拉萨尔（Lassalle）所讥讽为守夜者、或交通警察之类所代表的功能。
穆勒的自由理念
为什么穆勒会认为保障个人自由，是如此神圣的事呢？他在他有名的论文中表示：除非人们得以按照他们的希望，“按照只与他们自己有关的方式去生活”，否则文明就不会进步，真理也不会显现，因为我们会缺少自由的观念市场；人类的自动自发、原创力、天才、心智能力、道德勇气等，也将无从发挥。社会将会被集体的平庸所压抑。习俗及妥协的习惯，将会造成“才能萎缩”、“心地褊狭”、“性格扭曲”的人类，从而使社会中，任何丰富且多样的东西，都受到遏抑。“异教徒自以为是的作风，在基督教的自我克制，同样具有价值”。“一个人不顾忠告与警告，而犯下的所有错误，其为恶远不如任令别人强迫他，去做他们所认为的好事。”自由的维护，存在于排除干涉的“消极”目的中。对一个人施以威胁说：除非他屈就于一种无法自己选择目标的生活，否则就要迫害他；堵塞他所有去路，而只留一扇门，那么，无论这扇门开向多么高贵的远景，无论作此安排的人，动机多么慈悲仁道，这些作法都违反了下述的真理：他是一个人，他有他自己的生活方式。以上所说的就是近代世界中，从思想家伊拉斯玛（Erasmus）的时代，有人可能会认为甚至从奥坎（0ccam）的时代以降，一直到现在为止，自由主义者心目中的自由。所有关于公民自由与个人权利的呼吁，所有对于剥削与羞辱的抗议，对于大众权威侵犯个人生活的反抗，以及向习俗和有组织的宣传对群众的操纵，所发出的抗议，都是源自于这种个人主义式的、议论纷坛的“人之概念”。
从以上这种立场，我们可以注意到三点事实。第一，穆勒把两种清楚分明的观念混淆了。其一是：所有的强制行为，虽然或许能借以防止比它本身更大的恶事，然而就它阻遏了人们的欲望而言，它却是不好的；而和强制行为相反的不干涉，虽然不是惟一的善，但是就它不阻遏人类欲望而言，它却是好的。这就是古典形式的“消极”自由的概念。另外一点是：人们应当设法发现真理，或者去发展穆勒赞同的那些性格类型—书有批判性、独创力、想象力、独立性、近乎奇僻的不妥协等等；而只有具备自由的条件，才能找到真理、才能培养这种性格。这两种观点都是自由主义的观点，但是它们并不相同，它们之间的关连，充其量也只不过是经验性的关连。没有人会主张，在一个所有思想都被教条所压制的地方，真理和表达的自由，能够欣欣向荣。但是，诚如史蒂芬（James
Stephen）在《自由、平等、博爱》（Liberty,Equality,
Fraternity）一书中，猛烈攻击穆勒时所主张的，历史的证据却显示：在苏格兰或英格兰的喀尔文派清教徒那种纪律严明的社群中、或是在军队中，廉洁的品德，对真理的喜好、强烈的个人主义等，至少也和在比较宽容、比较冷漠的社会中，一样常见；这一见地若是属实，则穆勒所持人类才华的发挥，系以自由为必要条件的论点，就站不住脚了。如果事实证明，穆勒的两个目标不能并存，他就要面临一个残酷的两难式，更不消说他的学说与严格的功利主义、甚至与他自己那种较重视人性的功利主义，不相连贯，而产生的进一步困境了（注四）。
第二，这种自由学说较为晚出。在古代，我们似乎看不到任何把个人自由当做是一种有意义的政治理想，相对于实际上存在着的自由，而加以讨论的主张。康多塞曾经说过，罗马人和希腊人的法律概念中，没有个人权利；就犹太、中国以及其他所有出现于世界的古代文明而言，情形也是一样（注五）。即使在近代西方历史上，这种理想盛行的时期，也仍然是例外，而不是常态。
此一意义下的自由，也不曾构成广大人类群众在阵前的呐喊之声。无论就个人或社群而论，不愿遭受侵犯、而愿自行其是的欲望，都是高度文明的表征。隐私权的意识，个人关系的领域自有其神圣性的意识，是来自于一种晚出的自由概念；这种自由的概念，虽然有其宗教上的渊源，本身发展完全的时间，却不太可能早过文艺复兴时代，或宗教改革时代（注六）。可是，这种自由概念的式微，却将成为文明死亡的标记，以及整个道德观死亡的标记。