之前有个想法,想看下一天下来鼠标都在哪些点停留了,再通过鼠标位移,反推手移动看下右手腕扭动情况。

为了实现这样的目标,我做了如下尝试,希望能够给各位读者一定的启发,做到抛转引玉的效果。

鼠标轨迹和点击位置分析

首先我们需要监控鼠标,如果监控鼠标操作呢?答案是使用pynput库(可使用pip直接安装)。

下面是监控鼠标操作的测试代码:

监控鼠标操作

from pynput import mouse


def on_move(x, y):
    print(f'({x}, {y})', end=",")


def on_click(x, y, button, pressed):
    if pressed:
        print(f"\n在坐标({x},{y})处点击鼠标,释放鼠标时将结束任务")
    else:
        return False


def on_scroll(x, y, dx, dy):
    print(f"\n在坐标({x},{y})处, 滚动滑轮dx={dx},dy={dy}")

with mouse.Listener(on_move=on_move, on_click=on_click, on_scroll=on_scroll) as listener:
    listener.join()

上面三个函数分别监听了鼠标的移动点击和滑轮滚动,任意一个函数返回False时,pynput将停止鼠标监听。

基于此,我们就可以基于鼠标位置:

from collections import Counter

# 记录鼠标移动轨迹坐标
p = Counter()
# 记录鼠标点击点坐标
clicks = []

记录函数:

from pynput import mouse
from PIL import ImageGrab
import numpy as np


def on_move(x, y):
    p[(x, y)] += 1


def on_click(x, y, button, pressed):
    if pressed:
        clicks.append((x, y))
    return False


with mouse.Listener(on_move=on_move, on_click=on_click) as listener:
    listener.join()

绘制鼠标轨迹

在反复执行以上函数后,我们可以开始绘制轨迹图像了:

import pandas as pd
from PIL import ImageGrab
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

fig, ax = plt.subplots(figsize=(18, 8))
img = ImageGrab.grab()
ax.imshow(img)

# 绘制移动位置
xys = pd.DataFrame(p.keys())
xys[2] = p.values()
ax.scatter(xys[0], xys[1], c=xys[2],
           cmap=plt.cm.jet, edgecolors='none', alpha=0.1, s=10)

# 绘制点击点
xys = pd.DataFrame(clicks)
ax.scatter(xys[0], xys[1], c='red', s=30, alpha=0.3)

plt.show()

ImageGrab.grab函数截取了当前屏幕为背景,测试结果:

image-20210702185640499

红色代表了鼠标点击点,蓝色表示鼠标运行轨迹。

目前我感觉结果可行。

现在我们设计一个web服务器,当我们访问的时候,可以实时反馈当前的轨迹图像:

web服务器设计

这次使用的框架为Flask,pip也可以直接安装。

首先测试一个web服务器实时反馈当前屏幕的使用情况:

from io import BytesIO

from PIL import ImageGrab
from flask import Flask, make_response

app = Flask(__name__)


@app.route('/hot', methods=['GET'])
def hot():
    img = ImageGrab.grab()
    out = BytesIO()
    img.save(out, 'JPEG', quality=70)
    response = make_response(out.getvalue())
    response.headers["Content-Type"] = "image/png"

    return response


if __name__ == '__main__':
    app.run(host="0.0.0.0", port=80)

此时如果游览器不停的刷新,就能产生不停延展的镜像效果:

image-20210702192747715

下面尝试启动一个线程去监控鼠标轨迹和点击位置,并启动web服务:

import _thread
import os
from collections import Counter

from pynput import mouse

p = Counter()
# 记录鼠标点击点坐标
clicks = set()


def on_move(x, y):
    p[(x, y)] += 1


def on_click(x, y, button, pressed):
    if pressed:
        clicks.add((x, y))
    return False


def listening_mouse():
    while True:
        with mouse.Listener(on_move=on_move, on_click=on_click) as listener:
            listener.join()


_thread.start_new_thread(listening_mouse, ())

from flask import Flask, make_response, send_from_directory

app = Flask(__name__)

import pandas as pd
from PIL import ImageGrab
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False


@app.route('/hot', methods=['GET'])
def hot():
    fig, ax = plt.subplots(figsize=(18, 8))
    img = ImageGrab.grab()
    ax.imshow(img)

    # 绘制移动位置
    tmp = p.copy()
    xys = pd.DataFrame(tmp.keys())
    xys[2] = tmp.values()
    ax.scatter(xys[0], xys[1], c=xys[2],
               cmap=plt.cm.jet, edgecolors='none', alpha=0.1, s=10)

    # 绘制点击点
    xys = pd.DataFrame(clicks)
    ax.scatter(xys[0], xys[1], c='red', s=50, alpha=0.3)
    plt.savefig('a.jpg', format='jpg', bbox_inches='tight', pad_inches=0)

    basedir = os.path.abspath(os.path.dirname(__file__))
    response = make_response(
        send_from_directory(basedir, 'tmp.jpg', as_attachment=True))
    response.headers["Content-Type"] = "image/png"
    del response.headers["Content-Disposition"]
    return response


if __name__ == '__main__':
    app.run(host="0.0.0.0", port=80)

在干了半小时别的之后,再次回来刷新页面查看:得到了如下轨迹图:

image-20210702202930416

总结

个人感觉这是一次非常失败的尝试,一开始的想法很美好,然而现实很骨感,实际做起来效果很差,我个人是看不出有啥价值,也不打算继续做了。

不过还是希望本次尝试能够给读者们一些启发,做到抛砖引玉的作用。

利用本文涉及的技术能实现可能有价值的事情有:

  1. 监控置顶窗口分别截图,分析对于不同的软件的鼠标热点轨迹
  2. 给画板APP增加轨迹录制、线稿录制功能,回放画画过程

最终,本文图片准备上传前的鼠标热点图:

image-20210702205522545


本文转载:CSDN博客