По данным МВД КБР, джамаат "Ярмук" был сформирован летом 2002 года в Панкисском ущелье Грузии из числа жителей Кабардино-Балкарии, примкнувших к базировавшемуся там в то время отряду полевого командира Руслана Гелаева. В основном это были жители Эльбрусского района КБР, попавшие под влияние вербовщиков чеченских незаконных формирований, обещавших им справедливую жизнь по законам шариата. Военным амиром джамаата, который еще называли кабардино-балкарским батальоном, Гелаев назначил жителя Кенделена Муслима Атаева, выделявшегося незаурядными организаторскими способностями, хорошими физическими данными и пользовавшегося большим авторитетом среди земляков.
Атаеву удалось собрать под своим началом около 30 единомышленников, большинство из которых уже успели поучаствовать в боевых действиях в Чечне на стороне незаконных вооруженных формирований, а некоторые прошли диверсионную подготовку в лагерях Хаттаба. В ноябре 2002 года в составе отряда Гелаева они пересекли грузино-российскую границу и в районе ингушского селения Галашки вступили в бой с федеральными силами. Основная часть отряда ушла в Чечню, а Атаев получил приказ вместе со своими подчиненными вернуться в Кабардино-Балкарию. Здесь они должны были на некоторое время затаиться, постараться пополнить отряд новыми членами и вооружением и ждать дальнейших указаний.
Костяк "Ярмука" из 11 человек во главе с Атаевым вернулся в республику единой группой, остальные добирались поодиночке. Здесь Атаев, согласно полученному заданию, развернул активную агентурную работу среди местной молодежи, и в итоге ему удалось привлечь на свою сторону еще несколько человек. Хотя он действовал в условиях строжайшей конспирации, правоохранительным органам стало известно о его возвращении. Милиционеры не раз попытались задержать главаря джамаата, в частности, в мае прошлого года неподалеку от Кенже, в ноябре 2003 года на окраине Чегема и в последний раз — 18 августа в Чегемском районе, однако всякий раз ему удавалось скрыться. В перестрелках с бандитами были убиты четверо сотрудников милиции, но и милиционерам удалось уничтожить шестерых боевиков.
Скрываясь от преследования в различных районах республики, Атаев обрастал новыми связями в среде местных ваххабитов, через них сумел выйти на Шамиля Басаева, с которым он, по имеющейся информации, встречался в Баксане, где лидер чеченских боевиков находился в течение месяца летом прошлого года. После этой встречи "Ярмук", как отмечают источники Ъ, перешел в непосредственное подчинение Басаеву и стал выполнять его указания. По некоторым данным, связь с чеченским полевым командиром Атаев поддерживал через одного из жителей пригорода Нальчика — поселка Хасанья. Номер его телефона был записан в SIM-карте одного из двух мобильных телефонов, обнаруженных в доме в Баксане, где скрывался Басаев, и в мобильнике, найденном на месте боя под Чегемом.