柴绍仓皇的从李休那里逃回城中，看到背后的平阳公主没有追来时，这才终于松了口气，不过紧接着又开始担心起来，因为他知道平阳公主肯定不会善罢干休，如果她去陛下那里去告状的话，恐怕他就要倒大霉了。
想到这里，柴绍立刻开始思考起对策来，不过他却根本无法阻止平阳公主进宫，只能在自己这边想办法，结果想来想去，只想到一个向别人求助的办法，可是满朝文武之中，有能力帮他的只有太子或秦王，秦王不在长安，也就只剩下太子了。
相比之下，柴绍与李建成的关系很一般，毕竟他是武将，以前也在李世民手下效力，所以他与李世民的关系还算好一点，不过现在却是没办法，只能硬着头皮去求李建成了。
柴绍一边往东宫的方向赶，一边在心中大骂那个冯侍郎不会办事，如果他直接冲进李休家中把对方抓出来，使得平阳公主根本来不及反应的话，恐怕他就不会这么狼狈了。可怜柴绍到现在都不知道，李休家中还有两个郡王，如果冯侍郎的不知死活的直接冲进去，恐怕那些东宫卫士早让他们尸横满地了。
柴绍马不停蹄的跑到东宫大门前，然后报上名未见，本以为就算自己和李建成的关系一般，但对方肯定会见一见自己，可是让他没想到的是，他在门外等了半天，最后却只出来一个驼背的老内侍，满是松垮皱纹的脸上一脸冷漠的道：“霍国公请回吧，太子今日有事，不便见外客！”
“什么？你们到底通报了没有，太子怎么会不见我？”柴绍听到这里却是勃然大怒道，他好歹也是李建成的妹夫，而且还亲自前来拜访，现在却连门都进不去，这也太不给面子了吧？
“霍国公请回，这是太子亲口吩咐的，另外太子让老奴转告国公，安陆郡王这段时间一直在李祭酒府上求学，希望霍国公好自为之！”老内侍这时再次慢悠悠的道，说完也不理会柴绍的反应，转过身一步三摇的离开了。
“什么！这……这怎么可能？”柴绍听到老内侍的话却是呆若木鸡的站在那里，两只眼睛也失去了焦距，他这时终于想明白了在平阳公主赶到李休家之前，那些冲出的卫士是什么人，原来他们都是保护李承道的宫中禁卫，难怪他会感觉那些眼熟，可惜现在明白这些却已经太晚了。
冯侍郎的那些侍卫被宫中禁卫狂殴之时，这些禁卫已经派人进宫，把那边的事情禀报给了东宫，所以李建成才会知道的如此清楚，而且李承道还吩咐报信的人说自己差点受伤，这让李建成也是大为恼火，这时也正是生柴绍的气，把他拒之门外已经算是客气的了。
柴绍失魂落魄的离开了东宫，在大街转了半天也不知道去哪，最后无奈的回到家中，然后把自己关在书房里苦思对策，可惜想来想去却没能想出对应的办法，只能被动的等待朝廷的惩罚。
李渊那天虽然拒绝了平阳公主与柴绍和离的请求，但是看到这个最宠爱的女儿伤心的离去，心中也十分的愧疚，最后这种愧疚也转化为对柴绍的怒火，最先倒霉的是那个冯侍郎，先是被免官撤职，然后又被人查出中饱私囊，结果被抓到刑部的大牢之中。
柴绍做为这件事的幕后凶手，自然也没逃过惩罚，几天之后，一道圣旨从宫中发往柴绍府中，这道圣旨的内容很短，直接免去了柴绍的右骁卫大将军一职，罚俸三年，还让他闭门思过一个月，也没说什么理由，毕竟像这种涉及到皇族内部矛盾的事，一向都不会公开，反正被惩罚的人自己知道原因，也不敢有什么意见。
柴绍接到这道免职的圣旨后不禁眉头紧锁，罚俸和闭门思过都无关轻重，唯独免去了他的大将军有些严重，毕竟这样一来，他就成为一个没有实权的贵族，说话的份量也会大为减轻，如果换成其它官员的话，几乎相当于被就地免职，日后都不可能有再复起的希望，整个人的仕途也就此毁了。
不过李渊虽然免去了柴绍的实际官职，但却没有动他霍国公的爵位，这让柴绍从中品味到一丝希望，这说明李渊并不是真的想要把他彻底冷藏，而是给他一个严重的警告，日后很有可能会再次启用他，毕竟他背后还有一个根基深厚的家族，绝不是一般的官员可比。
想到上面这些，柴绍也不由得松了口气，李渊的惩罚虽重，但至少还给他留了一丝希望，只要他这段时间表现的老实一点，不要再去招惹平阳公主就行了，特别是等到过年时，他再借这个机会进宫向李渊认个错，估计这件事也就过去了。
抱着上面的想法，柴绍老老实实的在家呆了一个月，他是个喜欢热闹的人，每天被关在家里简直就是种折磨，不过为了不惹李渊生气，他还是强忍着在家里呆了整整一个月，甚至在闭门思过期满之后，他也尽量的减少外出，营造出一种深居简出的样子。
柴绍最常去的地方是长安东市附近一家赌场，名叫东安赌场，虽然大唐禁赌，但长安城大大小小的赌场却有几十个，东安赌场算是其中最大的一个，而且这家赌场表面上是一个外地的商人所开，但实际上的控制人却是柴绍。
柴绍好赌，这几乎是所有武将的通病，当初还是前隋时，他还是大隋的千牛备身之时，就经常与一帮贵族子弟聚赌，而且他比一般的贵族子弟有脑子，在看到赌博所获之利巨大时，他想到了亲自开赌场，这家东安赌场就是他年轻时开办的。
后来因为战乱，东安赌场一度关闭，不过等到大唐成立后，柴绍也功成名就，于是就把这家赌场再次开了起来，并且一跃成为长安城中最大的赌场，有了这家东安赌场，一来方便柴绍自己玩，二来也为柴家输送了大量的钱财，所以柴绍对这些也颇为重视，以前每隔几天都来玩几把，即过了赌瘾又能顺便巡视一下这里。
不过柴绍虽然好赌，但却不是像烂狗皮那样的烂赌鬼，而且他也不会像一般赌客那样在大堂里玩，事实上像他这种好赌的贵族并不在少数，所以每天都会有不少贵族去赌场，这些贵族们一般都是在赌场特定的包间里玩，所以柴绍根本不用担心缺少赌友。
闭门思过结束后，柴绍第一时间就去了东安赌场那里玩了几把，接下来的一段时间里，他也没有去其它地方，只有犯了赌瘾时才会来东安赌场玩两把，对于他们这种人来说，输赢已经不重要的，玩的就是一个心跳。
这天柴绍再次来到东安赌场，这座赌场就在东市旁边胜业坊中，占地的规模极大，从外表来看，恐怕不知情的人会以为这里是哪家贵族的别院，但是进到里面就会看到一座十分广阔的大厅，大厅里按照赌博方式的不同，被划分为不同的区域，每个区域里都挤满了人，到处都是输红眼的赌徒在嘶吼。
在这个巨大的赌场里，每天都有人输的倾家荡产，甚至更有输红眼的人把妻儿都输给了别人，更有人向赌场借贷却还不上，结果被赌场的打手当场砍掉了手脚，可以说这里简直就是一个巨大的食人窟，但每天却依然有无数人心甘情愿的跳下来。
柴绍傍晚时分来到东安赌场后，先是习惯性的在大厅里转了一圈，感受到大厅里那种狂热的气氛，这让他也不禁有些热血沸腾，同时手也更痒了，当下来到大厅的后面，这里是赌场的包间，只有那些有钱有身份的人才能进来。
“老爷，今天有几位大赌客来了，每人都带着大批的赌资，您要不要玩几把？”柴绍刚一来到这里，立刻有个华服中年人一脸谄媚的凑上来道，这个中年人姓刘，因为少了一根手指头，所以人称“九指刘”，明面上他是这个赌场的主人，但其实他却是柴绍的家奴。
“哦？那我可要见识一番！”柴绍正感觉手痒难耐，而且他一向喜欢豪赌，每次来这里，九指刘都会给他安排几个大赌客让他过过手瘾，这次自然也不例外。
当下九指刘引着柴绍来到一处单独的小房间里，当进到里面时，只见里面已经坐了三个人，而且每个人头上都戴着一顶特制的帽子，帽子上的薄纱刚好把他们的脸挡住，但却又不影响他们的视线，身上也穿着宽大的衣服，让人看不清他们的身形。
赌博毕竟不是件光彩的事，更何况还是朝廷明令禁止的，所以来赌场的贵族一般不喜欢暴露身份，名利被人抓住把柄，因此赌场也慢慢的形成一条不成文的规矩，那就是来这里的客人可以把脸遮挡起来，只需要带上足够的赌资就可以放开大玩了。
柴绍是这里的主人，这几乎已经是个公开的秘密了，而且柴绍的的底子够硬，根本不怕被人抓住把柄，事实上就算有人把他聚赌的事捅上去，李渊也不会因为这点小事怪罪他，比如以前柴绍来这里时，从来不喜欢戴面纱，这也是他的底气，不过现在情况特殊，因此进来时也戴上了特制的帽子。
来这里的贵族都是过赌瘾的，所以柴绍进来后也没有废话，直接宣布赌局开始，说来有趣，柴绍虽然恨极了李休，但是在赌博时却喜欢玩李休搞出来的纸牌，这场赌局也同样如此，四人玩的是一种类似后世拖拉机的玩法，只是在规则上有些不同。
柴绍今天的运气很一般，刚开始还赢了几把，可是后面却越输越多，反倒是坐在他对面的那个家伙手气极好，面前很快就堆满了筹码。
一直玩到东方的天际发白之时，柴绍今天带来的筹码几乎输光了，这让他也不由得有些恼火的一推桌子站起来道：“不玩了，今天的手气真差，改天再玩！”
柴绍说着转身就在离开，不过也就在这时，却只见他对面那个赢得最多的家伙忽然开口道：“看来霍国公你的霉运还没有过去，我看来你最近一段时间还是不要赌，否则只会像那个烂狗皮一样输的倾家荡产！”
听到对方的话，柴绍也猛然转过身，目光炯炯的盯着厉声问道：“你是谁，说这些话是什么意思？”
“呵呵，霍国公还真是贵人多忘事啊！”只见对方这人说着忽然伸出手，然后把头上的帽子摘了下来，露出一张满是微笑的年轻脸庞。
“李休！你……你竟然来这里！”柴绍看到这个年轻而熟悉的脸庞也是惊声叫道，他万万没想到和他玩了一晚上纸牌的人竟然是李休。
“呵呵，赌场而已，没想到老子的手气竟然还不如你小子！”没等李休开口，只见李休右侧的那个人也开口道，然后伸手摘下帽子，露出一张威武的脸庞，却是与李休交情最好的马爷，他担心李休一个人来这里不安全，所以也一起跟来了，顺便也过过赌瘾，却没想到玩纸牌他还是玩不过李休，除了柴绍就数他输的最多。
“呵呵，没想到马将军也来了！”柴绍看到马爷也不禁眯起眼睛道，随后他又看向李休左侧那个戴着纱帽的人道，“那么你又是谁，肯定也是李休一伙的吧？”
“哈哈哈哈~，有趣有趣，没想玩几把纸牌也能遇到这么有趣的事，不过霍国公你大可放心，我可不是这位李祭酒和马将军的人！”只见左侧这人却是一声长笑道，听他话中的意思，好像认识李休和马爷。
只是李休却感觉他的声音很陌生，当下看了他一眼，但却无法透过面纱看到对方的相貌，最后只得作罢，然后抬头看向柴绍，并且露出一个灿烂的笑容道：“没想到堂堂霍国公竟然会暗中经营着这么大的一个赌场，每天不知有多少人在这里倾家荡产，如此罪大恶极之事，难道霍国公就不怕天打雷劈吗？”