Pada awalnya nama organisasi yang sekarang dikenal dengan nama Ansor adalah Syubbanul Wathan yang didirikan pada 1924. Yang kemudian pada tahun 1932 berubah menjadi BANO(Barisan Ansor Nahdlatul Ulama’), yang kemudian bernama ANO(Ansor Nahdlatul Ulama’) dan seterusnya dikenal dengan GP(Gerakan Pemuda) Ansor, hingga sekarang.

Ansor Nahdlatul Ulama'(ANO) adalah nama atas saran KH. Abdul Wahab( Mbah Wahab). Menurut beliau, nama ini adalah kehormatan yang diberikan Nabi Muhammad SAW kepada penduduk Madinah yang telah berjasa dalam membela dan ikut dalam perjuangan dan menegakkan agama kaum Muhajirin(Islam). Pengorbanan yang luar biasa, secara total baik pengorbanan lahir maupun batin, Para Ansor tampil sebagai pejuang yang tangguh dalam membela dan membentengi perjuangan Islam.

Kaum Ansor berarti kaum pribumi, yang tak boleh lepas dari karakter dan tradisi-tradisi arifnya. Tapi juga harus mau terbuka dan menerima pengetahuan atau hal yang baik yang berasal dari pihak luar. Atau dalam pemahaman kaum Nahdliyin biasa di sebut “al Muhafadlatu ‘alal Qoodimis Sholih, Wal Akhdu bil Jadiidil Ashlah”( Merawat Tradisi yang baik, dan mengambil hal baru yang lebih baik).

Pemahaman inilah yang kemudian menginspirasi kegiatan Gerakan Pemuda Ansor lebih kepada kepedulian terhadap masalah sosial dan masalah lingkungan, yang tentunya juga berkembang sesuai tuntutan zaman. Sebagaimana yang dilakukan oleh KH. Abdullah Ubaid (termasuk pendiri Ansor), dan KH. Abdul Halim Shiddiq (pelopor Ansor dan Muslimat). 

Pada Masanya KH. Abdullah Ubaid adalah satu-satunya Muballigh yang mengisi pengajian di NIROM(Radio milik pemerintah Hindia Belanda). Beliau termasuk pemuda yang mendahului zamannya, kreatifitas dan keteladanan bahkan sifat agung sebagai pendidik KH Abdullah Ubaid ini pernah ditulis oleh KH Wahid Hasyim (Abahnya Gus Dur) dengan judul” Abdullah Ubaid sebagai Pendidik” diterbitkan oleh Majalah” Suluh NU” bulan Agustus 1941 Th. I no.5.

Tulisan ini di ilhami saat KH.Abdullah Ubaid bertamu ke ndalem KH Wahid Hasyim bersama kedua anaknya. Pada saat itu, terjadilah dialog antara tuan rumah dan tamunya.” saat sang anak meminta minum teh, Kyai Ubaid menjawab,”itu air tehnya sudah tersedia, minumlah. Airnya masih panas, kata sang anak kepada bapaknya. “Tuanglah ke piring cangkir, agar lekas dingin, Jawab kyai Ubaid.” nanti kalau tumpah bagaimana?”tanya sang anak.” tumpah pun tidak apa-apa, toh tuan rumah pun tidak akan marah nak” tutur Kyai Ubaid sambil tersenyum kepada tuan rumah yang diikuti jawaban KH. Wahid Hasyim”Tidak apa-apa nak”. Selang beberapa waktu sang anak berhasil menuangkan teh ke piring cangkir dan setelah agak dingin, kembali merajuk kepada ayahnya untuk minta diminumkan. ” Kamu sudah pandai meminum sendiri, jangan takut tumpah nak, Jawab Kyai Abdullah Ubaid. Inilah yang kemudian menginspirasi KH Wahid Hasyim menjadikan tulisan dengan judul “Abdullah Ubaid  sebagai Pendidik”. Beliau meninggal di usia muda 39 tahun. Tapi kiprahnya luar biasa.

Sebegitu juga KH.Abdullah Halim Shiddiq yang merupakan kakak kandung KH. Ahmad Shiddiq Rais ‘aam PBNU. Beliau KH Abdul Halim juga pelopor berdirinya Gerakan Pemuda Ansor dan Muslimat NU di Jember. Kyai yang terkenal memakai Sepeda Ontel saat berdakwah(kendati pun sudah punya mobil pada saat itu), beliau mampu mempelopori dan mendirikan Persatuan Pemuda Indonesia(PPI) yang kemudian melahirkan Mubaligh pengisi ceramah di Radio dan PPI menjadi embrio GP Ansor di Kabupaten Jember.

Dari kedua tokoh ini dapat kita ambil pelajaran bahwa dalam meng ideologisasi kelompok dengan mengisi ruang kosong dengan kegiatan model baru yang memiliki manfaat lebih besar yang akhirnya kelompok tersebut diberi nama ANSOR.