題主的問題其實就是電池的內阻造成的。

我們看下圖：

1圖中，我們看到電池的電動勢是E，它的內阻是r，我們來看看燈兩端的電壓U是什麼，如下：

由上式中我們看到，假定電池電動勢E不變，而內阻r則隨著電池放電時間的增長而增大，表示式分母部分 會增加。如此一來，路端電壓U當然就越來越低了。

但如果電池電動勢隨著放電時間的增長也逐漸降低，那麼可想而知電池的供電能力會下降很多。

題主說電池的額定電壓是3.7V，用萬用表測量的電壓是3.5V。這裡的電壓其實就是電池電動勢。

我們知道，數字萬用表電壓檔內阻一般為10兆歐，而且其內阻不隨改變數程而變化。指標式萬用表的電壓檔內阻大概是20K歐/伏，而低檔次的指標萬用表的電壓當內阻只有2K歐/伏。但不管是哪一種萬用表，可以認為萬用表的電壓檔內阻不會影響到電池電動勢的測量值。

2圖中，我們看到在電池電動勢不降低的情況下，路端電壓U的曲線隨著時間增長而降低，其原因就是電池內阻增加。

所以，題主問題的答案很簡單：該充電了。