筆者之前陸陸續續接手過幾個nodejs專案, 也參與過幾個有點意思的nodejs開源專案, 最近把其中遇到的一些問題和解決方案做一個梳理, 避免大家繼續踩坑. 話不多說我們開始吧~
1. window和mac下設定NODE_ENV變數的問題我們都知道在前端專案中會根據不同的環境變數來處理不同的邏輯, 在nodejs中也一樣, 我們需要設定本地開發環境, 測試環境, 線上環境等, 此時有一直設定環境變數的方案是在package.json中的script屬性中設定, 如下:
"scripts": { "start": "export NODE_ENV=development && nodemon -w src --exec \"babel-node src\"", "build": "babel src --out-dir dist", "run-build": "node dist", "test": "echo \"Error: no test specified\" && exit 1" }複製程式碼從start指令中我們可以發現我們用export NODE_ENV=development來定義開發環境的環境變數，由於筆者採用的是mac電腦，所以可以用export來定義一個node環境變數. 但是在和朋友合作開發專案時發現執行yarn start後會報錯, 後面看錯誤資訊才發現window下不識別export, 後面筆者發現window定義環境變數可以用set, 所以對於window使用者, 如果你使用了以上方法設定NODE_ENV, 可以採用如下方式:
"scripts": { "start": "set NODE_ENV=development && nodemon -w src --exec \"babel-node src\"" }複製程式碼在專案開發過程中有時候拉取新的node專案程式碼後執行npm install, 會報如下錯誤:
node-gyp就是在node環境中使用的生成不同平臺不同編譯器的專案檔案, 如果你遇到了相同的問題, 我們可以採用如下方案:
npm install -g node-gyp複製程式碼或者直接刪除package-lock.json或者yarn.lock, 然後重新yarn install或者npm install即可, 筆者清測有效.
3. node + koa2專案中刪除已設定的cookie的解決辦法由於HTTP是無狀態協議，所以需要cookie來區分使用者之間的身份。 我們可以把cookie作為是一個由瀏覽器和伺服器共同協作實現的規範。
cookie的處理分為以下3步(基礎且重要的知識)：
伺服器向客戶端傳送cookie瀏覽器將cookie儲存（可以在後端設定expires或者maxAge，以session形式存在）每次瀏覽器都會將之前設定好的cookie發向伺服器在開發node後臺專案時我們經常涉及使用者管理模組, 這意味我們需要對使用者進行登入態管理, 在使用者退出時能及時刪除使用者的cookie, 好在koa2自帶了處理cookie的方法, 我們可以透過如下的方式設定cookie:
router.post(api.validVip, async ctx => { ctx.cookies.set('vid', 'xuxiaoxi', { maxAge: 24 * 3600 * 1000 }); });複製程式碼以上我們隨便設定了一個有效期為1天的cookie, 那如果業務有變動, 需要在有效期內清空此cookie, 我們該如何處理呢? 解析來給出一個相對可用的解決方案:
ctx.cookies.set('vid', '', { maxAge: 0 });複製程式碼此時客戶端的cookie將在下次請求時自動失效.
4. socket.io如何與koa/egg配合使用我們都知道完整的socket.io通訊由兩部分組成:
與NodeJS HTTP 伺服器整合（或安裝在其上）的socket.io在瀏覽器端載入的客戶端庫socket.io-client如果我們直接使用koa或者egg, 我們需要將它們內部整合的http和socket.io做相容, 此時我們可以這樣處理:
import koa from 'koa';import http from 'http';const app = new koa();const server = http.createServer(app.callback());const io = require('socket.io')(server);// 正常的業務處理// ioio.on('connection', (socket) => { console.log('a user connected'); socket.on('doc load', (msg) => { console.log('doc load', msg) io.emit('getData', users) }) });server.listen(3000, () => { // ...});複製程式碼透過以上的方式就可以正常的將koa和socket.io 做相容. 後面我們就可以正常的開發IM應用啦~
5. 由於nodejs第三方模組依賴特定node版本導致的報錯解決方案這個情況筆者之前也遇到過, 主要原因是第三方沒有和node版本做到很好的向後相容, 此時解決方案就是更新此第三方包到最新版本(如果還在維護的情況), 或者使用node包管理工具(n)切換到適配的node版本, 如下:
// 更新最新的包npm i xxx@latest// 使用包管理工具nnpm i -g n複製程式碼使用n可以很方便的管理node版本, 感興趣可以嘗試一下.
6. nodejs如何建立定時任務定時任務在後端開發中是很常見的功能之一, 其本質是根據時間規則，系統在後臺自動執行相應的任務. 在java, PHP 等後臺語言中有很豐富的定時任務的支援, 對於nodejs 這個興起之秀來說, 雖然沒有那麼成熟的生態, 但是仍然有定時任務的模組, 比如node-schedule.
Node Schedule 是用於Node.js的靈活的 cron 類和非 cron 類作業排程程式。它允許我們使用可選的重複規則來安排作業（任意函式）在特定日期執行。它在任何給定時間僅使用一個計時器（而不是每秒鐘/分鐘重新評估即將到來的作業）。
一個很實用的場景是我們想在每年的雙十一或者雙十二讓node程式自動抓取某電商的“商品羊毛”, 並推送到自己的郵箱, 此時我們就可以用Node Schedule來開啟一個定時任務來執行我們的業務操作, 筆者的很多node應用都採用了類似的模式.感興趣可以互相交流一下.
那什麼是cron風格的Scheduling呢? 其github上給出了一個簡單的介紹:
所以我們可以像如下方式這樣來寫一個定時任務:
let schedule = require('node-schedule');let testJob = schedule.scheduleJob('42 * * * *', function(){ console.log('將在未來的每個時刻的42分時執行此程式碼, 比如22:42, 23:42');});複製程式碼我們都知道現在nodejs版本已經到14.0+版本了, 對最新的es語法支援的也足夠好, 但是目前仍然有一些語法不支援, 比如es的模組匯入匯出(import, export), 裝飾器(@decorator)等, 此時我們要在node專案中使用這些新特性, 我們就不得不借助工具, 這裡筆者採用babel7來解決上述問題, 如下:
# .babelrc{ "presets": [ [ "@babel/preset-env", { "targets": { "node": "current" } } ] ], "plugins": [ ["@babel/plugin-proposal-decorators", { "legacy": true }], ["@babel/plugin-proposal-class-properties", { "loose" : true }] ]}複製程式碼我們只需要在專案根目錄裡新建並寫入如上檔案, 並安裝babel對應的模組即可, 如下:
yarn add @babel/cli @babel/core @babel/node @babel/plugin-proposal-class-properties @babel/plugin-proposal-decorators @babel/preset-env複製程式碼此時就可以想寫前端專案一樣使用這些新語法特性啦~
8. nodejs中優雅的處理json檔案以及提高json讀寫效能對於nodejs最佳化方面其實有很多要聊的, 這裡主要來說說json相關的最佳化方案. 我們需要從2個方面來最佳化, 一個就是json檔案的讀寫效能, 此時我們可以採用fast-json-stringify 來大大提高json的讀寫速度, 其本質是提供了一套json-schema約束, 讓json結構更加有序, 從而提高json的讀取查詢速度. 如下使用方式:
const fastJson = require('fast-json-stringify')const stringify = fastJson({ title: 'H5 Dooring Schema', type: 'object', properties: { firstName: { type: 'string' }, lastName: { type: 'string' }, age: { description: 'Age in years', type: 'integer' }, reg: { type: 'string' } }})複製程式碼比如說在H5-Dooring的後臺中, 有很多需要頻繁讀寫json資料的介面, 此時使用fast-json-stringify對讀寫效能會有很大的提升.
另一方面, 我們在node 端操作json, 如果用原生的寫法會非常麻煩, 此時我們最好自己對json讀取進行封裝來提高程式碼的簡約性, 或者我們直接使用第三方庫jsonfile 來輕鬆讀寫json檔案, 如下使用案例:
const json = require('jsonfile')const fileName = 'h5-dooring.json'const jsonData = jsonFile.readFileSync(fileName)複製程式碼在nodejs中 我們可以使用兩種方式來讀寫檔案, 如下:
fs.readFile() 一次性將檔案讀取進記憶體中, 如果檔案過大會導致node記憶體不夠而報錯fs.createReadStream() 以檔案流的方式讀取, 此時可以不用擔心檔案的大小由以上介紹可知如果我們要讀取的檔案可能會很大(比如影片等大檔案), 我們一開始就要使用fs.createReadStream(), 其實如果我們需要對檔案進行解析, 比如要對簡歷等檔案進行逐行解析提取關鍵語料, 我們可以使用node的readline模組, 此時我們就可以對檔案進行逐行讀取並解析, 如下案例:
const fs = require("fs");const path = require("path");const readline = require("readline");const readlineTask = readline.createInterface({ input: fs.createReadStream(path.join(__dirname, './h5-dooring')),}); readlineTask.on('line', function(chunk) { // 讀取每一行資料}); readlineTask.on('close', function() { //檔案讀取結束的邏輯}複製程式碼對於nodejs開啟gzip 的操作也屬於node效能最佳化的一部分, 經過這樣的處理可以讓我們的網站載入更快, 我們可以使用koa的koa-compress中介軟體來實現gzip 功能. 具體實現如下:
import koa from 'koa';import compress from 'koa-compress';const app = new koa();// 開啟gzipconst options = { threshold: 2048 };app.use(compress(options));複製程式碼當然koa-compress還有很多自定義的配置項, 大家可以感受一下.
11. 解決window和linux系統下路徑分隔符不一致的問題這個問題也是系統之間的差異導致的, 也是需要考慮的問題, 我們都知道在linux系統下路徑的分隔符為/, 比如h5-dooring/src/pages, 但是在window下解析的可能就是h5-dooring\\src\\pages這樣的路徑, 此時我們需要做適配, 不然我們部署到不同系統上報錯是必然的, 所以我們需要全域性配置路徑萬用字元, 筆者的解決方案如下:
import os from 'os'const _$ = (os.platform().toLowerCase() === 'win32') ? '\\' : '/';複製程式碼此時涉及到具體路徑的地方我們用_$ 代替即可, 以上程式碼我們用到了node的os模組, 感興趣的可以研究一下, 我們可以用os模組處理很多有意思的因為系統差異導致的問題.
12. nodejs如何實現父子程序通訊由於nodejs是單執行緒的, 但是有時候我們需要支援處理多個程序的業務, 目前nodejs可以透過哦父子程序的模式來模擬多程序, 我們可以用到child_process, 大致流程如下:
筆者之前分享的很多node實戰專案都採用了child_process, 大致實現過程如下:
// child.jsfunction computedTotal(arr, cb) { // 耗時計算任務}// 與主程序通訊// 監聽主程序訊號process.on('message', (msg) => { computedTotal(bigDataArr, (flag) => { // 向主程序傳送完成訊號 process.send(flag); })});// main.jsconst { fork } = require('child_process');app.use(async (ctx, next) => { if(ctx.url === '/fetch') { const data = ctx.request.body; // 通知子程序開始執行任務,並傳入資料 const res = await createPromisefork('./child.js', data) } // 建立非同步執行緒 function createPromisefork(childUrl, data) { // 載入子程序 const res = fork(childUrl) // 通知子程序開始work data && res.send(data) return new Promise(reslove => { res.on('message', f => { reslove(f) }) }) } await next()})複製程式碼圖片編輯壓縮在很多場景中用前端的技術實現比較常見, 其實在node端也有很多需要處理的圖片需要, 畢竟客戶端處理的質量不好控制, 此時我們可以採用node-images, 他是一款node 端輕量級跨平臺影象編解碼庫, 其主要特性如下:
輕量級：無需安裝任何影象處理庫。跨平臺：Windows下發布了編譯好的.node檔案,下載就能用。使用簡單：jQuery風格的API，簡單可依賴我們可以使用它來裁剪, 壓縮圖片, 基本使用如下:
const images = require("images");images("input.jpg") //載入影象檔案 .size(400) //等比縮放影象到400畫素寬 .draw(images("logo.png"), 10, 10) //在(10,10)處繪製Logo .save("output.jpg", { //儲存圖片到檔案,圖片質量為50 quality : 50 });複製程式碼在H5-Dooring 編輯器中哦你也使用了它來做圖片處理和編輯, 大家也可以更根據實際業務來使用.
14. node端解析“命令列指令字串”實現線上自動打包部署專案關於node解析cmd字串並執行命令列指令的方式筆者之前在寫自己實現一個自動化工作流的文章中也介紹過, 使用了child_process模組的exec, 具體實現可以參考文章:
基於NodeJS從零構建線上自動化打包工作流（H5-Dooring特別版）
這裡寫一個簡單的例子:
const cmdStr = `cd ${outWorkDir} && yarn build ${fid}`// 解析命令列指令, 實現線上自動打包構建專案exec(cmdStr, function(err, stdout, stderr){ if(err) { console.log('api error:'+stderr); io.emit('htmlWorked', { result: 'error', message: stderr }) } else { // ... }})複製程式碼解決此問題最好的方式就是採用pm2 或者forever, 其提供了強大的node程序管理, 負載均衡的能力, 並提供了一定程度的應用監控, 建議在線上環境使用pm2 來管理我們的node應用.