韋玄成,字少翁,因為父親（的緣故）被任命為郎常侍騎（官名）.年少時好學(xué),繼承父親的事業(yè),尤其能謙遜待人、禮賢下士.出外遇到認識的人步行,則叫隨從用車把他送回去,（大家）都把這當(dāng)作是常事.他接人待物,（遇到）貧困的更加尊敬,因為這他的名聲越來越大.憑借通曉經(jīng)書而提拔為諫議大夫.
韋玄成年少時,聰敏活潑,勤奮好學(xué),酷愛學(xué)業(yè).如果外出,途中遇見知識淵博者,玄成總是邀之同行,尊為師表,用車載送,并趁機求取學(xué)問,探討國事.其父在任時,玄成受賜為郎,常隨武官騎射.玄成雖為相府子弟,出身顯貴家庭,但在社會交往中,尤其注意平等待人,不拘門第.對出身貧賤者也毫不輕慢,對學(xué)識淵博者更是以禮相待,于是,他的聲譽越傳越廣,深得人們的稱贊.
韋玄成智力過人,才學(xué)出眾,他曾以明經(jīng)擢為諫議大夫,后又提升為大河都尉,并先后出任淮陽中尉、太常少府、太子太傅、御史大夫等職.漢宣帝之時,玄成曾受詔與當(dāng)朝重臣蕭望之及五經(jīng)諸儒至石渠閣,雜論異同,闡發(fā)詩意,得到皇帝的賞識.漢宣帝神爵二年（前60年）,其父韋賢死,玄成痛苦欲絕,決意將世襲爵位讓于兄.皇帝及文武官員高其氣節(jié),拜玄成為河南太守.漢元帝永光二年（前42年）,替代于定國為丞相.
韋玄成為相之始,國力衰竭,頻繁的祭祀活動更加劇國家財力緊張.面對京室及郡國設(shè)置的數(shù)百座祖廟、陵寢,陵園,韋玄成及御史大夫鄭弘等70余人上書,建議減少祭祀活動,把設(shè)在郡治國治的宗廟停止修繕,停止奉祀,只保留京室的祖廟供皇帝祭祀.建議被皇帝采納,先后裁罷昭靈后、武哀王、昭哀后、衛(wèi)思后、戾太子、戾后園及郡國宗廟一百余處.“皆不奉祠”,節(jié)約了大量的人力物力,由此而確立了祭太祖之廟、祭近親四廟的祭祀制度,國力不支的狀況開始扭轉(zhuǎn).
韋玄成為相七年,雖守正持重不如其父,而文采過之.他嗜好詩賦,精通《詩經(jīng)》,尤擅長于吟詠四言詩,他與父親韋賢同是《詩經(jīng)》韋氏學(xué)派的主要代表人物,名噪當(dāng)世.據(jù)《漢書本傳》、《舊唐書·經(jīng)籍志》等書記載,韋玄成著有《自劾》一書,《韋玄成文集》二卷,《戒示子孫》詩二首流傳于后世.《中國文學(xué)家大詞典》一書將韋玄成置于中國文學(xué)家之列,他是鄒縣歷史上比較有建樹的文學(xué)家之一.