祥子在返城途中病倒了,回到北平,在海淀的一家小店躺了三天, 說夢話或胡話時道出了他與三匹駱駝的關係,從此他就有了“駱駛祥子”的外號。祥子沒有家,他就住在老闆 劉四爺的人和車廠裡。劉四爺開的車廠有 六十多輛車,女兒虎妞協助他管理。虎妞是個三十七八歲的老姑娘,長得虎頭虎腦,像個男人一樣。劉四爺管外,虎妞管內,父女倆把人和車廠治理得如鐵桶一般。祥子對車有一種特殊的喜好,平時也不願閒著,擦車、打氣、曬雨布、抹油……幹得高高興興。因此有時祥子雖然不拉劉四爺的車,劉四爺仍允許他一直住在廠裡。祥子把三十元錢交給 劉四爺保管,希望攢滿後再買一輛車。

祥子的綽號不脛而走，大家都揣測他發了橫財，對他又是羨慕，又是嫉妒。祥子不理會流言蜚語，兀自拉車賺錢，只想著再買一輛新車。他為了儘快買車，原本他不肯去搶別人的買賣，現在的他不管不顧，和其他的車伕爭座兒。後來，祥子在楊宅拉包月。楊先生有兩位太太,還有一大群孩子。祥子每天接送完這個,又要去伺候那個,同時還要幹雜活。更可恨的是,主人不把僕人當人看,食宿很差。祥子有一天在送走一位女客人之後,因為楊太太的無理,終於忍無可忍,憤怒地將錢摔在楊太太的臉上,辭去了這份工作。

從楊宅辭工，祥子心裡幾番掙扎，最後還是回到人和車廠。到了車廠已經是晚上11點多,虎妞誘使他喝酒。可能是酒壯膽，也可能因為最近內心的憋悶，祥子酒後和虎妞睡了一夜。等到他清醒後十分憋悶,並開始竭力躲避虎妞,車一天拉的都不順心，後來恰逢老主顧曹先生要他拉包月,祥子便歡天喜地地答應了。祥子極力想和虎妞還有人和車場撇清關係，在應下曹先生包月的活計之後，找虎妞算清這兩日的車租，並且想拿回自己存在劉四爺手裡的三十塊錢，結果沒有拿回。