長府藩の御用絵師の子として長府印内(現：山口県下関市)に生まれる。19歳で江戸木挽町の狩野勝川院雅信の門に学ぶ。同門に彼の終生の盟友となった橋本雅邦がいる。幕末動乱の期には画筆を捨てて国事に奔走する。江戸幕府崩壊・明治維新によって定職を失い、貿易商の下絵書きをしていた時期もあるが、 第2回絵画共進会出品作の『桜下勇駒図』『雪山暮景図』が帝国大学のフェノロサや岡倉天心に高く評価され、日本絵画の正統なる継承と近代絵画への脱皮の可能性を見いだされることとなる。これ以後、芳崖は日本画の伝統に西洋絵画の写実や空間表現を取り入れた、新・日本画の創生に献身する。　同時に東京美術学校（現：東京藝術大学）の創立に尽力した。しかし、明治21年(1888)、開校(翌年)を見ずに没した。