Родился Сергей Яковлевич в Славгороде (ныне Краснопольский район Сумской области, Украина).

Учился в Харьковском коммерческом училище, курса не окончил. В 1911 году за участие в революционной деятельности сослан в Енисейскую губернию «на вечное поселение», откуда через несколько месяцев бежал в Китай.
Побывал в Шанхае, жил также в Японии, Корее, Австралии, с 1917 года поселился в Харбине. В начале 1920-х годов активно участвовал в литературной жизни Владивостока и Харбина, примкнув к дальневосточной футуристической группе «Творчество».
По воспоминаниям Ю. В. Крузенштерн-Петерец, «стал кумиром харбинской молодёжи». Печатался в Шанхае («Шанхайская газета»), в Харбине («Рупор» — некоторое время был её редактором, «Вестник Маньчжурии»). С 1925 являлся постоянным сотрудником газеты «Копейка».
Писал стихи и статьи, посвященные Советской России и Ленину. Занимался переводами старинной японской поэзии. Книга умеренно футуристических стихов (в духе Северянина) «Киоск нежности» вышла в 1920 году; в дальнейшем выпустил ещё ряд книг («Оклик мира», «Арфа без молний» и др.).
Во второй половине 1920-х годах переселился в Москву, но в начале 1930-х был отправлен в исправительно-трудовой лагерь «Беломорско-Балтийский канал имени Сталина». В лагере Алымов редактировал газету для заключённых; сохранились его письма жене, Марии Федоровне Корниковой.
Один из авторов книги «Канал имени Сталина» (1934). После возвращения в Москву в конце 1931 (А. Авдеенко свидетельствует в мемуарах, что в августе 1933 Алымов был ещё на Беломорканале) Алымов писал преимущественно тексты советских патриотических песен; наиболее известные из них — «Вася-Василёк» («Что ты, Вася, приуныл, голову повесил…», 1940), «Хороши весной в саду цветочки», «Краснофлотский марш».
Алымову принадлежит также литературная обработка песни «По долинам и по взгорьям», написанной П. С. Парфёновым. В 1940 Алымов начал сотрудничество с ВМФ в Севастополе, где пробыл до 1942 года. После освобождения Севастополя Алымов участвовал в работе фронтовых бригад. По воспоминаниям М. Е. Катукова Алымов встречал Новый 1942 год с гвардейцами под Волоколамском, читал свои стихи.

В его честь назван был пароход «Сергей Алымов», ходивший по р. Волге. Примерно с 1982 года поставлен на берег в с. Елшанка Воскресенского района Саратовской области и использовался, как гостиница на турбазе отдыха ПО «Югтрансгаз».