もう無理かもしれないです。

栄養士の専門学校を今年の3月に卒業し、委託会社に就職してから利用者４０～５０人、従業員4人ほどの障害者施設で勤務しています。
ですがもう仕事に行きたくないです。
私は昔から容量が悪く、メモをして見直したり分からないところはすぐ聞くなど工夫はしているのですが覚えるのに時間がかかってしまいます。
その事でパートさんに注意を受けることが多く最初はにこやかに話してくれていたパートさんも最近私を見るだけで嫌そうな雰囲気をするようになってしまったように感じます。
他の人は優しく教えてくださるし、パートさんも今も注意をしてくださるのですが、パートさんと2人きりの日が多く、毎日雰囲気が悪くなってしまい、精神的にかなり辛いです。
会社の保健師さんに相談したところ心療内科を受診してみてはと助言をいただき、受診をしました。
結果は適応障害でした。
今は離婚済みですが父がかなりのモラハラで、そのトラウマもあるのだろうということでした。
自分に原因があるのは分かっています。
ただたった4ヶ月働いただけでこんなことになってしまった自分が情けなくて仕方ないです。
働き始めはこういうものなのでしょうか？
私が不甲斐ないだけなのでしょうか？
長文で乱雑な文章で申し訳ないです。
皆さんの素直な意見をお聞きしたく質問させて頂きました。