Тракль родился и провёл первые 18 лет жизни в Зальцбурге. Учился в католической начальной школе (хотя его родители были протестантами). В зальцбургской гимназии пристально изучал латынь, древнегреческий, математику, в 17 лет начал писать стихи.

Не окончив гимназии, Тракль проработал три года в аптеке. В это время он обращается к драматургии, но его пьесы «День поминовения» и «Фата Моргана», поставленные в 1906 году в городском театре, успеха не имеют.

В 1908 году Тракль переехал в Вену, чтобы изучать фармакологию в университете, но куда больше внимания уделял поэзии. Он сблизился с венской поэтической и художественной богемой и впервые смог опубликовать свои стихи.

Окончив учёбу в университете и получив известие о смерти отца, Тракль записался в армию. После годичной службы он вернулся в Зальцбург и снова стал работать в аптеке, но вскоре был принят на должность военного провизора при аптеке гарнизонного госпиталя в Инсбруке. Там он получает признание в поэтических кругах, его стихи печатаются в авторитетном журнале Der Brenner, а в 1913 году выходит первый сборник Тракля под названием «Стихотворения» (нем. Gedichte). Траклю покровительствует философ и меценат Людвиг Витгенштейн, учредитель стипендии для бедствующих поэтов. Между тем в Инсбруке поэт вёл богемный образ жизни, пристрастившись к кокаину и алкоголю.

С началом Первой мировой войны Тракль был мобилизован в австро-венгерскую армию, служил в полевом госпитале в Галиции. Он с трудом справлялся с обязанностями по уходу за ранеными, страдал от депрессии, пытался покончить с собой. Тракль был переведён в Краков и госпитализирован. 3 ноября 1914 года Тракль покончил с собой в больничной палате, приняв смертельную дозу кокаина.