成语有很大一部分是从古代相承沿用下来的，在用词方面往往不同于现代汉语它代表了一个故事或者典故。
成语又是一种现成的话，跟习用语、谚语相近，但是也略有区别。成语大都出自书面，属于文语性质的。其次在语言形式上，成语是约定俗成的四字誉液结构(也有少量三字格和多字格的)，字面不能随意更换；成语在语言表达中有生动简洁、 形象鲜明的作用。
成语是语言中经过长期使用、锤炼而形成的固定短语。它是比词的含义更丰富而语法功能又相当于词的语言单位，而且富有深刻的思想内涵，简短精辟易记易用，并常常附带有感情色彩,包括贬义和褒义。
成语多数为4个字，也有3字的以及4字以上的成语，有的成语甚至是分成两部分，中间有逗号隔开。
成语大都有一定的出处。如“狐假虎威”出于《战国策・楚策》，“鹬蚌相争”出于《燕策》，“画蛇添足”出于《齐策》，“刻舟求剑”出于《吕氏春秋・察今》，“自相矛盾”出于《韩非子・难势》，都是古代的寓言。
如“完璧归赵”出于《史记・廉颇蔺相如列传》，“破釜沉舟”出于《史记・项羽本纪》，“草木皆兵”出于《晋书・苻坚载记》，“一箭双雕”出于《北史・长孙晟传》，“口蜜腹剑”出于《唐书・李林甫传》，都是历史上的故事。至于截取古书的文句用为四字成语的更为普遍。
如“有条不紊”取自《尚书・盘庚》“若纲在纲,有条而不紊”,“举一反三庆明物”取自《论槐信语・述而》“举一隅，不以三隅反,则不复也”,“痛心疾首”取自《左传》成公十三年“斯是用痛心疾首,烤凸讶恕薄
在人民口里常说的一些四字习用语也可以归入成语里来。如“咬文嚼字”、“拖泥带水”、“阳奉阴违”、“不三不四”、“心直口快”之类,与成语的结构相同。在成语中也有些是接受外来文化而出现的。如“天花乱坠”、“当头棒喝”、“不可思议”、“不二法门”都是。