Oui, bof, y en a où les risques de confusion sont plus embêtants que pour d'autres (avec les morilles, par exemple, tu ne risques pas vraiment de tromper, c'est un champignon très caractéristique).
J'ai lu une fois que les cas d'intoxication les plus fréquents, c'est chez les gens qui cueillent toujours une seule sorte de champignons (souvent des champignons des prés) et qui ont tellement l'habitude qu'ils ne font plus trop attention, et s'il se glisse un vénéneux dans le tas... Si tu te méfies un peu, tu ne risques rien.