Node.js 实现远程桌面监控

论坛 › 期权论坛 › 期权     
web前端学习圈   2019-7-20 10:25   4077   0
[h1]描述[/h1]最近使用node实现了一个远程桌面监控的应用，分为服务端和客户端，客户端可以实时监控服务端的桌面，并且可以通过鼠标和键盘来控制服务端的桌面。





这里因为我是用的同一台电脑，所以监控画面是这样的，当然使用两台电脑一个跑客户端，一个跑服务端才有意义。

[h1]原理[/h1]其实这个应用的功能主要分为两部分，一是实现监控，即在客户端可以看到服务端的桌面，这部分功能是通过定时截图来实现的，比如服务端一秒截几次图，然后通过socketio发送到客户端，客户端通过改变img的src来实现一帧帧的显示最新的图片，这样就能看到动态的桌面了。监控就是这样实现的。
另一个功能是控制，即客户端对监控画面的操作，包括鼠标和键盘的操作都可以在服务端的桌面真正的生效，这部分功能的实现是在electron的应用中监听了所有的鼠标和键盘事件，比如keydown、keyup、keypress，mousedown、mouseup、mousemove、click等，然后通过socketio把事件传递到服务端，服务端通过 robot-js来执行不同的事件，这样就能使得客户端的事件在服务端触发了。

[h1]实现[/h1]原理讲完，我们来具体实现一下（源码链接在这）。
[h3]实现socket通信[/h3]首先，服务端和客户端分别引入
  1. socket.io
复制代码
和
  1. socket.io-client
复制代码
, 分别初始化
服务端：
  1. const app = new Koa();
复制代码
  1. const server = http.createServer(app.callback());
复制代码
  1. createSocketIO(server);
复制代码
  1. [/code][code]app.use((ctx): void => {
复制代码
  1.     ctx.body = 'please connect use socket';
复制代码
  1. });
复制代码
  1. [/code][code]server.listen(port, (): void => {
复制代码
  1.     console.log('server started at http://localhost:' + port);
复制代码
  1. });
复制代码
  1. //createSocketIO
复制代码
  1. const io = socketIO(server, {
复制代码
  1.         pingInterval: 10000,
复制代码
  1.         pingTimeout: 5000,
复制代码
  1.         cookie: false
复制代码
  1.     });
复制代码
  1. [/code][code]io.on('connect', (socket): void => {
复制代码
  1.     socket.emit('msg', 'connected');
复制代码
  1. }
复制代码
客户端：
  1. var socket = this.socket = io('http://' + this.ip + ':3000')
复制代码
  1. socket.on('msg', (msg) => {
复制代码
  1.   console.log(msg)
复制代码
  1. })
复制代码
  1. socket.on('error', (err) => {
复制代码
  1.   alert('出错了' + err)
复制代码
  1. })
复制代码
这样，服务端和客户端就通过socketio建立了链接。
[h3]实现桌面监控[/h3]之后我们首先要在服务端来截图，使用screenshot-desktop这个包
  1. const screenshot = require('screenshot-desktop')
复制代码
  1. [/code][code]const SCREENSHOT_INTERVAL = 500;
复制代码
  1. [/code][code]export const createScreenshot = (): Promise => {
复制代码
  1.     return screenshot({format: 'png'}).then((img): [string, Buffer] => {
复制代码
  1.         return [ img.toString('base64'), img];
复制代码
  1.     }).catch((err): {} => {
复制代码
  1.         console.log('截图失败', err);
复制代码
  1.         return err;
复制代码
  1.     })
复制代码
  1. }
复制代码
  1. [/code][code]export const startScreenshotTimer = (callback): {} => {
复制代码
  1.     return setInterval((): void => {
复制代码
  1.         createScreenshot().then(([imgStr, img]): void => {
复制代码
  1.             callback(['data:image/png;base64,' + imgStr, img]);
复制代码
  1.         })
复制代码
  1.     }, SCREENSHOT_INTERVAL)
复制代码
  1. }
复制代码
然后通过socketio的emit来传到客户端：
  1. startScreenshotTimer(([imgStr, img]): void => {
复制代码
  1.     io.sockets.emit('screenshot', imgStr);
复制代码
  1. });
复制代码
客户端收到图片后，设置到img的src上（这里是base64的图片url）:
复制代码
  1. [/code][list][*][*][*][*][*][/list][code]data () {
复制代码
  1.   return {
复制代码
  1.     screenshot: ''
复制代码
  1.   }
复制代码
  1. }
复制代码
  1. socket.on('screenshot', (data) => {
复制代码
  1.   this.screenshot = data
复制代码
  1. })
复制代码
其实这样就已经实现了桌面监控了，有兴趣的同学可以照着这个思路实现看看，并不是很麻烦。
当然这样的方案是有问题的，因为我们需要知道服务端桌面尺寸的大小，然后根据这个来调整客户端显示的图片尺寸。
实现这个细节是使用的get-pixels这个库，可以读取本地图片文件的宽度高度等信息，所以我先把图片写入本地，然后又读取出来，这样获取到的屏幕尺寸。
  1. interface ScreenSize {
复制代码
  1.     width: number;
复制代码
  1.     height: number;
复制代码
  1. }
复制代码
  1. [/code][code]function getScreenSize(img): Promise {
复制代码
  1.     const imgPath = path.resolve(process.cwd(), './tmp.png');
复制代码
  1.     fs.writeFileSync(imgPath, img);
复制代码
  1.     return new Promise((resolve): void => {
复制代码
  1.         getPixels(imgPath, function(err, pixels): void {
复制代码
  1.             if(err) {
复制代码
  1.                 console.log("Bad image path")
复制代码
  1.                 return
复制代码
  1.             }
复制代码
  1.             resolve({
复制代码
  1.                 width: pixels.shape[0],
复制代码
  1.                 height: pixels.shape[1]
复制代码
  1.             });
复制代码
  1.         });
复制代码
  1.     })
复制代码
  1. }
复制代码
然后通过socektio传递给客户端
  1. getScreenSize(img).then(({ width, height}) => {
复制代码
  1.     io.sockets.emit('screensize', {
复制代码
  1.         width,
复制代码
  1.         height
复制代码
  1.     })
复制代码
  1. });
复制代码
客户端收到之后调整图片大小就可以了
  1. [/code][code]
复制代码
  1. data () {
复制代码
  1.   return {
复制代码
  1.     screenshot: '',
复制代码
  1.     screenshotStyle: '',
复制代码
  1.   }
复制代码
  1. }
复制代码
  1. socket.on('screensize', (screensize) => {
复制代码
  1.   this.screenshotStyle = {'width': screensize.width + 'px', 'height': screensize.height + 'px'}
复制代码
  1. })
复制代码
至此已经实现了桌面监控，并且图片尺寸和服务端屏幕的尺寸是一致的。
这里还有一个细节，就是获取到的图片大小是物理像素，而客户端设置的px是设备无关像素，也就是要除以dpr才是px的值。这里需要获取dpr，因为目前只是在mac下用，所以直接除以2了。
[h3]实现远程控制[/h3]代码写到这里，客户端的electron应用中已经可以实时显示服务端的桌面了。（当然像输入ip的弹框，以及electron-vue和typescript等和主要逻辑无关的细节就不展开了。）
接下来我们要实现远程控制，也就是监听事件，传递事件，执行事件这几部分。
首先我们定义一下传递的事件的格式：
  1. interface MouseEvent {
复制代码
  1.     type: string;
复制代码
  1.     buttonType: string;
复制代码
  1.     x: number;
复制代码
  1.     y: number;
复制代码
  1. }
复制代码
  1. [/code][code]interface KeyboardEvent {
复制代码
  1.     type: string;
复制代码
  1.     keyCode: number;
复制代码
  1.     keyName: string;
复制代码
  1. }
复制代码
鼠标事件MouseEvent，type为鼠标事件的类型，具体的值包括mousedown、mouseup、mousemove、click、dblclick，buttonType指的是鼠标的左键还是右键，值为 left 或 right，x和y是具体的坐标。
键盘事件KeyboardEvent，type为键盘事件的类型，具体的值包括keydown、keyup、keypress，keyCode为键盘码，keyName为键的名字。
接下来我们要在客户端监听事件：
  1. [/code][list][*][/list][code]window.onkeypress = window.onkeyup = window.onkeydown = this.handle
复制代码
  1. KeyboardEvent
复制代码
通过socekt把事件传递到服务端
  1.   handleKeyboardEvent (e) {
复制代码
  1.     this.socket && this.socket.emit('userevent', {
复制代码
  1.       type: 'keyboard',
复制代码
  1.       event: {
复制代码
  1.         type: e.type,
复制代码
  1.         keyName: e.key,
复制代码
  1.         keyCode: e.keyCode
复制代码
  1.       }
复制代码
  1.     })
复制代码
  1.   },
复制代码
  1.   handleMouseEvent (e) {
复制代码
  1.     this.socket && this.socket.emit('userevent', {
复制代码
  1.       type: 'mouse',
复制代码
  1.       event: {
复制代码
  1.         type: e.type,
复制代码
  1.         buttonType: e.buttons === 2 ? 'right' : 'left',
复制代码
  1.         x: e.clientX,
复制代码
  1.         y: e.clientY
复制代码
  1.       }
复制代码
  1.     })
复制代码
  1.   },
复制代码
然后在服务端把事件取出来执行，执行事件使用的是robot-js：
  1. const { Mouse, Point, Keyboard } = require('robot-js');
复制代码
  1. [/code][code]interface MouseEvent {
复制代码
  1.     type: string;
复制代码
  1.     buttonType: string;
复制代码
  1.     x: number;
复制代码
  1.     y: number;
复制代码
  1. }
复制代码
  1. [/code][code]interface KeyboardEvent {
复制代码
  1.     type: string;
复制代码
  1.     keyCode: number;
复制代码
  1.     keyName: string;
复制代码
  1. }
复制代码
  1. [/code][code]export default class EventExecuter {
复制代码
  1.     public mouse;
复制代码
  1.     public keyboard;
复制代码
  1.     public constructor(){
复制代码
  1.         this.mouse = new Mouse();
复制代码
  1.         this.keyboard = new Keyboard();
复制代码
  1.     }
复制代码
  1. [/code][code]    public executeKeyboardEvent(event: KeyboardEvent): void {
复制代码
  1.         switch(event.type) {
复制代码
  1.             case 'keydown':
复制代码
  1.                 this.keyboard.press(event.keyCode);
复制代码
  1.                 break;
复制代码
  1.             case 'keyup':
复制代码
  1.                 this.keyboard.release(event.keyCode);
复制代码
  1.                 break;
复制代码
  1.             case 'keypress':
复制代码
  1.                 this.keyboard.click(event.keyCode);
复制代码
  1.                 break;
复制代码
  1.             default: break;
复制代码
  1.         }
复制代码
  1.     }
复制代码
  1. [/code][code]    public executeMouseEvent(event): void {
复制代码
  1.         Mouse.setPos(new Point(event.x, event.y));
复制代码
  1.         const button = event.buttonType === 'left' ? 0 : 2
复制代码
  1.         switch(event.type) {
复制代码
  1.             case 'mousedown':
复制代码
  1.                 this.mouse.press(button);
复制代码
  1.                 break;
复制代码
  1.             case 'mousemove':
复制代码
  1.                 break;
复制代码
  1.             case 'mouseup':
复制代码
  1.                 this.mouse.release(button);
复制代码
  1.                 break;
复制代码
  1.             case 'click':
复制代码
  1.                 this.mouse.click(button);
复制代码
  1.                 break;
复制代码
  1.             case 'dblclick':
复制代码
  1.                 this.mouse.click(button);
复制代码
  1.                 this.mouse.click(button);
复制代码
  1.                 break;
复制代码
  1.             default: break;
复制代码
  1.         }
复制代码
  1.     }
复制代码
  1. [/code][code]    public exectue(eventInfo): void {
复制代码
  1.         console.log(eventInfo);
复制代码
  1.         switch (eventInfo.type) {
复制代码
  1.             case 'keyboard':
复制代码
  1.                 this.executeKeyboardEvent(eventInfo.event);
复制代码
  1.                 break;
复制代码
  1.             case 'mouse':
复制代码
  1.                 this.executeMouseEvent(eventInfo.event);
复制代码
  1.                 break;
复制代码
  1.             default: break;
复制代码
  1.         }
复制代码
  1.     }
复制代码
  1. }
复制代码
至此，桌面监控和远程控制的客户端还有服务端的部分，以及两端的通信都已经实现了。思路其实并不麻烦，但细节还是很多的。有兴趣的同学可以把代码下下来跑跑试试，或者按着这个思路自己实现一遍，还是挺好玩的。
[h1]源码链接[/h1]remote-monitor-server
remote-monitor-client
欢迎反馈，欢迎star~
源自：https://juejin.im/post/5d18d4c36fb9a07ecb0bbe7b
声明：文章著作权归作者所有，如有侵权，请联系小编删除。
感谢 · 转发欢迎大家留言
回复
分享到 :
0 人收藏
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

2级吧友
web前端学习圈

积分:30
帖子:6
精华:0
+ 关注 私信
期权论坛 期权论坛
期权网络科技版权所有
关于我们
联系我们
加入我们
反馈问题
免责声明
积分充值
统一社会信用代码
积分规则
网站地图
爱文库
下属网站
官方
新浪微博
微信公众号
◆
下载
表情包
App下载
期权论坛 期权论坛

QQ咨询|关于我们|Archiver|手机版|小黑屋|( 辽ICP备15012455号-4 ) Powered by 期权论坛 X3.2 © 2001-2016 期权工具网&期权论坛 Inc.

发布
内容

下载期权论坛手机APP