“來”的基本意義是從別的地方到說話人的地方，“去”的基本意義是從說話人的地方到別的地方。如：

甲：他下個月要來中國。

乙：他明天去上海。

丙：他慢慢地從門外走進來。

丁：他突然從教室裡跑出來。

如果甲在中國，乙在北京，丙在門內，丁在教室外，則上面四個句子都是對的。但如果甲在美國，乙在上海，丙在門外，丁在教室裡，則上面四個句子就都是錯的，正確的應該是：

甲：他下個月要去中國。

乙：他明天來上海。

丙：他慢慢地走進去。。

丁：他突然從教室裡跑出去。

你這裡說的句子——“小芳昨天去我們家了嗎”，雖然預設了一個說話的前提，“我和媽媽在我家附近的商店”，但說話人和小芳的相對位置仍然是“別處”與“家裡”的關係，所以仍然不能用“來”，而應該說：“小芳昨天來我們家了嗎”，媽媽的回答則應該是“來了”（或者“沒來”）

如果說話的主體換成“我和同學”，其他條件不變，則應該問：“小芳昨天去你家了嗎？”對方的回答就應該是：“去了”或“沒去”。