1995年 春にバンド のメンバー募集で出会った山田一成と菊地秀規の2人が、突如お笑いに目覚めて1996年 7月に結成。地道なライブ活動を重ねた後、ネタ見せTV番組に起用されるようになってから、その知名度を一気に上げる。ネタ本『悲しいとき』なども出版されている。
テレビ番組 『ピタゴラスイッチ 』にもレギュラー出演。同番組でリリースした「アルゴリズムたいそう&こうしん」のCD は特に人気を呼び、結果、子供からお年寄りまで幅広い層に支持されるようになった。「いつここといえばアルゴリズムだ」という人も多い。
コンビ名には「初心忘れるべからず」の思いが込められている。
CMでU.N.O.BAND に参加。