デジタル信号処理といえばオーディオが身近かな、ということでもう少しオーディオを例に挙げながら、アナログ信号処理と何が変わったのか知っている範囲で説明してみます。
抜けは有ると思うのであしからず。

何らかの形で得られた信号は通常はアナログ信号です。これをデジタル信号処理して利用しようとするとおおむね次のような構成になります。

イメージ 2
このように最終的にはデジタル信号をアナログ信号に変換しないと、何かを制御するとかスピーカを鳴らすとか出来ないのでアナログ信号に戻すことになります。

身近なのでオーディオで考えると、昔ながらのアナログ録音ではマイクで音を拾って録音してこれをレコードにカッティングして、カートリッジで電気信号に戻し、アンプで増幅してスピーカで鳴らす、という構成になりますが、ちょっと考えても周波数特性に変化を与えたり、ノイズが混入したり、歪んだりする要素は結構あります。
ではデジタル信号処理ではどんなことがあり得るかというと、周波数特性的には AD 変換する前に扱えない周波数領域を取り除くための前置フィルタが必要で、普通は必要帯域内(たとえば 20KHz 以下)はフラットな特性を持たせる。ただし何で実現するかというとここはアナログ回路なので理想的に通過帯域はフラット、不要帯域は完全に取り除く、ということは出来ないのでなにがしかのクセのある特性を持ちます。
次に AD 変換器で変換誤差が生じます。たとえば 1mV が 1 digit(1 レベル)に相当しなくてはいけないとして、これが全レベル範囲でその関係が保たれているかというとこれがなかなか大変のようである。この誤差は歪みにつながると考えられます。
そしてデジタル信号は階調で表すので、レベルは連続的ではなく段階的で。元のアナログ信号は連続的なので適当に丸められてしまうことになります。これを量子化ノイズ、量子化歪みと呼んだりします。

こうしてデジタル化された信号ですが、これを伝達したり保存したりして再利用となる分けでその時に状況によってはデータの復元に失敗してデータエラーがごくまれですが発生することがあります。
また信号処理の中で、デジタル固有の問題として桁落ちなどが発生してデータの精度が下がることがあります。

デジタルデータを使ってスピーカなどを鳴らすには、一旦アナログ信号に普通は戻します。これは DA コンバータと呼ばれるデバイスで行います。この時に AD 変換と同じように変換ノイズ、歪みが含まれることがあります。

DA コンバータの出力であるアナログ信号をスペアナで見ると(済みません、私は見たことがありません)、サンプリング周波数の半分の周波数=ナイキスト周波数で原信号が折り返したかのような信号が現れます。たとえばサンプリング周波数が 10KHz、原信号が 1kHz とすると、DA コンバータの出力には、1KHz と 9KHz(10/2 -1 + 1/2)のスペクトラムが現れます。これは原信号にはなかったということで取り除くためのフィルタが必要でこれを後置フィルタとします。これもナイキスト周波数以下を完璧に通過させ、それ以上を完全に取り除くことは不可能なのでなにがしかのクセのある特性になったりします。

ここに書いてあることは CD が登場した頃から紹介され尽くしていると思うので、何を今更、と思うかも知れません。
でもこれを読んだだけでも「デジタル化ったって、結構変な歪みやノイズがあるじゃん!」と思うでしょう。数値的な理解を除くと感覚的には「やっぱりオーディオはアナログの方が素直!」と云いたくなるのも分かる気がします。デジタル信号処理で発生する歪みやノイズはいかのも人工的な感じがしますよね。アナログ信号処理の経路はテープノイズだったり、メカ振動だったり泥臭い印象があって人間の感覚で理解しやすいです。

アナログオーディオ信奉者がデジタル派の言い分を一発で粉砕できるネタは「量子化ノイズ」です。「これが耳に付くからデジタルオーディオはイヤだ」と云われたら反論しようがありません。本当に聞こえているかどうかは別にして。
もう一つはサンプリング周波数によって帯域が制限されていることでしょうか。「レベルは低くても良いから 30KHz ぐらいまで聞こえていないと音に潤いがない」と云われたら、これも CD の範囲では反論不可能です。DVD オーディオや SACD なら何とか言い返せますが。
とどめは DA コンバータを動かすのにクロックが必要で、これが「わずかかも知れないがオーディオ信号に混入しているからデジタルオーディオシステムは音が悪い」と云われたらこれも反論不可能です。実際にはこのクロック、今は数十KHz を越えていて可聴範囲外ですが。

一つデジタル派のために良い情報を加えておくと、AD コンバータ以降 DA コンバータの入り口のデジタルデータの扱いでデータエラーは皆無と言っていいほど発生していません。CD が出た頃はプロセッサの処理が間に合わなくてエラー訂正できず、データ補間が働いていたようですが、今は多少出来の悪い CD-R に焼こうが、50倍速で再生しようがエラーは皆無といっても差し支えありません。また仮にエラーがあったとしてもその場所だけの話で、「全体的に鮮明度が悪い」などというマクロ的な音質劣化にはなりません。もしそんなことがあったら CD-ROM 自体が使い物にならないことになります。ただし CD-ROM は CD フォーマットにさらに訂正機能が追加されているので、音楽 CD よりはエラー訂正能力が高い、としています。これも実は少し別の意見があって、CD フォーマットで訂正できないエラーパターンを想定すると CD-ROM フォーマットに付加されたエラー訂正方式ではほとんど役に立っていないようです。云いたいことは CD 自体のデータ再生能力は高く、少なくとも定常的にエラーを発生させながら音楽再生しているようなことはない、ということです。ある評論家などはエラー訂正が行われると音質劣化がある、といっていますが、これははっきりウソです。データ補間は音質劣化になっても不思議はないですが、エラー訂正は元のデータが復元されたことを云うので、少なくとも DA コンバータに入るデジタルデータはオリジナル通りです。

定常的に音質劣化させる原因と瞬間的に音質劣化させる原因をまとめてみました。精度は悪いかも知れませんが。

イメージ 1

私見ですが、初期のデジタルオーディオの音が「いかにもデジタルくさい」と云われた最大の原因は前置、後置フィルタにあったのではないかと思います。前述のような要請に従ってアナログフィルタを組んだんでしょうけど、とにかく難しかったはずです。今は少し様子が違います。
もう一つ考えられるのは、デジタル伝送系はダイナミックレンジが周波数に関係なく一定なのでミキシングの段階でアナログレコードでは控えめにしていた低域と高域が、あまり処理をせずにデータ化したのではないかと思っています。

オーディオ中心の話に終始してしまいましたが、身近な例としてデジタル信号処理とアナログ信号処理の違いを感覚的に持ってもらえればいいかなと思っています。