边沁的理论是从这样一个公理出发，即自然把人类置于两个主宰——苦与乐——的统治之下，只有它们才能指出我们应该做什么和不应该做什么。所以，边沁说，要“根据每一种行为本身是能够增加还是减少与其利益相关的当事人的幸福这样一种趋向，来决定赞成还是反对这种行为”。
在边沁看来，善就是能够造成最大数量的最大的快乐的东西，政府的责任就是给社会带来最多的快乐。这里，快乐的数量或者说大小是重要的，里面隐藏的意思似乎是，多数人的快乐必然多于或者是大于少数人的快乐，因此前者要优于后者。传统的民主坚持的也正是这个原则，所以少数要服从多数。
边沁理论的一个问题是，快乐仅仅有数量和大小的差异吗?少数人的意志凭什么要服从于多数人呢?多数人的暴政一再证明，多数并不是天然优越的。穆勒指出，快乐与痛苦有层次上的差别，对快乐除了数量上的度量之外，还有质量上的考虑，并且更重要的是后者，所以，他说，“宁愿做一个不被满足的苏格拉底，也不作一个被满足的猪”。基于对快乐的量与质的不同重视，在边沁的价值系列里，安全是第一位的，因为它关系“最大多数人的最大幸福”，必要的时候，自由应当服从安全的需要;而在穆勒看来，自由是质的快乐，具有更高的价值。真正的自由，就是“按照我们自己的道路去追求我们自己的好处的自由，只要我们不试图剥夺他人的这种自由，不试图阻碍他们取得这种自由的努力。每个人是其自身健康的适当监护者，不论是身体的健康，或者是智力的健康，或者是精神的健康。人若彼此容忍按照自己所认为好的样子在生活，比强迫每人都按照其余的人们所认为好的样子去生活所获是要较多的”。自由是应该优越的，个人自由只在为保障他人同等的自由的时候才受到制约。按功利主义原则，所谓好和善就是使人趋乐避苦。真正的快乐，优质的快乐，是个人的事，只有每个人对自己的利益关切最深，了解最深，因而个人有支配自己的意志和行动的绝对的自由是天经地义的。“任何人的行为，只有涉及他人的那部分才需对社会负责，在仅涉及本人的那部分，它的独立性在权利上是绝对的”。个人的行为只要不涉及他人的利害，个人就有完全行动的自由，不必向社会负责，其他人不得对他的行为进行干涉，至多只能忠告、规劝或避而不理;只有当个人的行为危害到他人的利益时，各人才应该接受社会或者法律的惩罚。个人的自由不受干涉，集团或政府干涉个人自由的唯一理由只应当是保障自由本身。
穆勒的观点是有很大的进步意义的。按一般的逻辑，人先要活着(安全)，才能追求自己的幸福(自由)，所以安全比自由重要。然而，如果没有自由，生命的质量将是低下的，安全也只是暂时的和脆弱的 。我们不是生活在原始的、自然的状态之中，而是深深嵌在这个世界里面，“枷锁无所不在”。权力的扩张本性决定，它往往会在保护生命、安全和保障秩序的名义下侵蚀人们的自由空间，进而演变成对生命和安全本身的剥夺;社会也会以一种人们不易觉察的方式“悄悄”侵蚀个人的自由，特别是以社会和公共舆论的名义压制和剥夺少数人的自由，形成社会对于个人的压制。自由的载体是单个的人，而个人除了自由以外，别无其他可以凭籍来对抗那些剥夺和压制的工具了。所以，有人说，“不自由，毋宁死!”
然而,当我们做进一步的思考的时候，会发现这样一个问题：穆勒的理论有一个前置的条件，即认为每一个人都是理性的、人格完全健全的人，知道什么是自己的快乐，什么是自己的利益，能够按照趋乐避苦的原则作出主观上的判断，能够进行自主的选择并为自己的选择负责。尽管现代法学、经济学等理论都以理性人为基点，但关于对理性人的怀疑是很有力的。这里不去深究，但即便从这个基础出发，也仍然存在着另外的困惑。我们知道自己当下的快乐或者利益是什么，并不意味着过一段时间后还是这样。时间会改变人们的认识，人们的兴趣、爱好等也会不断发展变化。当我们作出一个选择的时候，时间的不可逆性给我们以压力：如果这个选择错误或者不适当，就意味着不可挽回的悔恨，这对某些人来说可能是很残酷的。并且，自由选择意味着你面对的是多种不同的可能性，很多时候从中权衡决断是很困难的，或者是因为对自己的快乐的模糊认识而无从下手，或者是顾虑于选择其中之一就意味着舍弃其他的惋惜，或者是惮于自己选择的失误、不当造成的后果。总之，自由绝不是那么轻松的事，它意味着压力、意味着责任，对不是那么坚强的人来说，这是人生不能承受之重，这是人性的众多弱点之一。那么，人是否有选择不自由的自由(权利)呢?对于一个个体来说，它可以以某种对价让渡自己的部分自由，但这一般是不涉及人身的，也不能是全部，因为全部的让渡就意味着不可挽回地失去自由，而且这种自由还不能扩展及全体——自由最终导致自由的毁灭是令人恐怖的，纳粹德国的教训已是前车之鉴，对人性逃避自由的放任只会带来灾难性后果。另外要考虑的是，只要我们不试图剥夺他人的这种自由，不试图阻碍他们取得这种自由的努力，我们就有去追求我们自己的好处的自由，我们的自由的界限如何具体确定呢?现实中个人的自由往往是会发生重叠、发生冲突的，我们如何来梳理这种冲突?或者说谁来作为裁判者?在现代社会，国家或者说政府可以出面，它以法律为圭臬，所以人们的自由被划定在法律许可的范围内，如果一个人的“自由”突破了界限，侵犯了他人的自由，或者造成了对公众必要的安全的威胁，他将成为法律惩罚的对象。但由于法律通常是由政府来执行的，人们对利维坦的不信任决定人们必须掌握立法权，同时用法律来驯服这个怪兽，发展至今日臻完善的现代法治基本上做到了这一点。但冲突并不是没有，在安全与自由的面前，人们的任何倾向都意味着巨大的代价。
在有着深厚自由主义传统的美国，人们一般更为珍视自由。美国法律对程序价值或者说自然正义的珍爱，从“米兰达警告”和“毒树之果”等等美国特色的制度可见一斑;美国人对“宁可错放一千不可冤枉一人”的理念，从辛普森案这一典型表现得淋漓尽致。然而，如果你追求阳光，你就躲不过身后的阴影，美国人在追求自由的时候，容忍了巨大的代价。代价留下的伤痛并不是可以忽视，美国各界对这一矛盾的思考和争论从来没有停止过。事实上，建国两百多年来，美国联邦政府的权力不断增长，而且每每战争、动乱或者其他灾难出现的时候，政府权力扩张的步伐就迈出几大步，南北战争、二战等既是例子。
最近，9.11恐怖事件的发生，使事情又在起变化。政府为反恐怖、保障国内安全，须有更大的作为，国会也已经通过了好几个授权法案，加大了政府的一系列对自由来说构成很大限制的调查权。对这一切变化，美国人民用其创历史记录的高支持率表明了态度，而只有少数人表达了担忧。对此，我们的问题是，这次对美国来说旷世未有过的恐怖灾难是否引起了美国人对他们一直来孜孜追求的
价值的颠覆性反思?是大众因为猝然而来的冲击暴露了人性固有的恐惧的弱点，还是那些所谓的“清醒的少数者”不知因时而化固守底线?相对来说，现代化的发展惯性似乎已经把人类推上了一条不归路，我们无法抗拒潮流，但却不能不反思现代化带来到的负面影响——并且这个负面已经日益在我们面前表现得张狂。除了从上世纪的核蘑菇云飘来的不散的阴影，恐怕最震撼人们灵魂的就是那飞向美国人骄傲的标志和安全的象征的世贸大厦和五角大楼的飞机了。但是，反思应当是多方面的，恐怖分子可以用他们的生命去表达他们对自己的自由的追求，固然是太过极端、太过残忍了，可是，当多数人忽视了甚至是压制了那些可怜的少数人的声音的时候，弱者的极端反抗往往是不可思议的。以美国人为代表的致命的自负为此付出了沉重的代价。没有真正的、更为普适的自由，不可能去妄想什么安全，航空母舰、隐性飞机、TMD和NMD保障不了绝对的安全。所以，在反思的时候，千万不要忘了去追问我们人类——而不是某个国家、民族、阶层或者团体——的灵魂最深处，我们到底需要什么?