No início do verão de 1966, Kaoru sai de sua cidade costeira e se transfere para a escola secundária de uma cidade provincial de Nagasaki. Graças a sua família, que vive em um ciclo quase constante de mudança de cidades, Kaoru só conhece as escolas como lugares de difícil adaptação. No entanto, em seu primeiro dia na nova escola, ele encontra Sentarou, um valentão da turma, e toma um novo rumo na vida. O anime trata do amadurecimento, da amizade e da música, especialmente o jazz. Com uma história com temas mais adultos, marca registrada das séries do bloco NoitaminA, Sakamichi no Apollon se assemelha muito a Honey & Clover, inclusive contando com a música de abertura da cantora YUKI. Além disso, falando sobre música, o anime conta com títulos conhecidos mundialmente de músicos de jazz renomados. Nesse ponto, segue a fórmula de sucesso de Nodame Cantabile e BECK.