3歳で字を書き、6，7歳で難しい儒教の本を読み、神童と呼ばれていました。
　安政3年(1856年)から、藩の命令で江戸にある昌平坂学問所に行って学び、そこでも秀才と評判でした。
　安政6年(1859年)に大村に戻り、藩校五教館の先生となり、4年後には校長に昇進。
　勤王の考え方を藩内に広めるなど、同志である渡邉昇、楠本正隆らとともに大村藩を倒幕へと導くために力をつくし、大村藩勤王三十七士の中心人物として活躍しました。
　慶応3年(1867年)に自宅前で暗殺されますが、この事件が大村藩を勤王へ決定することとなりました。
　「飯山の墓」は、飯山の遺徳を慕う門弟たちが建てました。