常袞，是京城人。父親常無為，是三原縣縣丞，因為常袞被多次加封為僕射。常袞，天寶末年考中了進士，擔任太子正字一職。寶應二年，當選為翰林學士、考功員外郎、知制誥。常袞文章卓越出眾，在當時備受推崇。（他）本性清廉正直、孤傲高潔，不隨意與人交往。當時朝廷不安定，西北邊界的少數民族，聯合起來做盜寇，常袞多次上奏摺陳述其中的利害關係，代宗特別賞識他，加授他為集賢院學士。當時宦官劉忠翼權傾朝野，涇原節度使馬璘又屢立功勳，所受恩寵無人可比，他們各有親戚到貢部(主持貢舉的部門)求情請求做兩館(弘文館、崇文館)生，常袞都據理拒絕，人們都畏懼他。（常袞）與楊綰一同執掌重要政務，代宗特別信任器重楊綰。楊綰寬宏通達多所寬容，常袞做事極力追求苛刻繁瑣，追求清正節儉的名聲，和楊綰的做法不同。在此之前，朝中百官的俸料很少，楊綰與常袞上奏請求增加。當時韓滉判度支，常袞與韓滉各自放任私情，所增加的俸祿料錢，多少由自己決定。

常袞有個擔任太子文學的親戚月俸給了十二貫，而發給太子洗馬的月俸只有十貫。然而太子洗馬，實際上是司經局的長官，而太子文學是太子洗馬的副職。他們發放官俸的多少都是隨心所欲，不懂時政，有很多像這類的事。不久，楊綰去世，常袞單獨執掌政權。按舊例，每天要拿出宮內廚房御食賞賜給宰相，食物可供十多人食用，常袞特意請求廢除這個規定，到如今就成了舊例。（常袞）又準備依舊例辭讓政事堂公膳，同僚認為不妥當才作罷。議論的人認為豐厚的俸祿和賞賜，是用來優待賢才、重視國政的，沒有才幹，應當辭職，而不應當辭去俸祿。政事堂有一後門，是由於有時宰相會到中書舍人院諮詢商議政事，以便集思廣益(而設定的)，常袞又堵塞了此門，以顯示自己的位尊權大。（常袞）鑑於元載執政時公正之道被堵塞，賄賂朋黨之風盛行，不憑藉財產和勢力沒有機會入仕，常袞把這些一律杜絕了。朝廷內外百官上奏請求授官，（常袞）都堅持不予批准，尤其排斥不是憑藉文辭考中科舉而入仕的人。常袞和楊綰志向向來不同，常袞嫉妒並憎恨楊綰。

有關部門討論追封楊綰為文貞，常袞暗中示意比部郎中蘇端予以駁斥，由於詆譭楊綰太過分，蘇端獲罪被罷黜官職。當時已經沒有中書侍郎，中書舍人崔祐甫兼任中書省事，常袞認為同中書門下平章事可以兼任中書省，於是總管中書省小吏、中書省事載決去留及其文書，崔祐甫對此憤憤不平，以致多次憤怒爭吵。於是（皇帝）令崔祐甫分管吏部銓選的事情，