百闻不如一试——公式图片转Latex代码

写博客时,数学公式的编辑比较占用时间,在上一篇中详细介绍了如何在Markdown中编辑数学符号与公式。

https://www.cnblogs.com/bytesfly/p/markdown-formula.html

当然,有时候我们仅仅是想把现成的公式搬到markdown中来编辑,此时如果有工具能把公式截图直接解析成Latex代码就方便了。

刚好这几天看到好几个微信公众号都在推送image-to-latex这个开源项目:

https://github.com/kingyiusuen/image-to-latex

Convert images of LaTex math equations into LaTex code.

该项目当前(2021年09月02日)star人数为631,Fork为81:

最近正好也是在了解机器学习、深度学习相关的东西,于是打算上手感受一下转换效果。

百闻不如一试

其实image-to-latex这个项目的README写得算是比较清楚了,介绍了项目的来龙去脉、可以改进的地方、如何使用等等。

快速开始

下面我把自己第一次尝试的过程简单记录如下:

  • 克隆项目
git clone --depth=1 https://github.com/kingyiusuen/image-to-latex.git

cd image-to-latex

多啰嗦一句:

--depth: 用来指定克隆的深度,1表示克隆最近的一次commit。这种方法克隆是为了减小项目体积的,加快克隆速度,对于那种庞大且活跃的开源项目非常有效。

  • 准备Python环境

该项目依赖Python环境,由于我用的是conda来管理虚拟环境的,不是用venv,所以这里的步骤可能与README上的有一点点差异。

此时应该是在项目目录下,即image-to-latex目录,该目录下有requirements.txt文件。

# 创建新的python3.6环境
conda create --name latex python=3.6

# 激活环境
conda activate latex

# 安装依赖
pip install -r requirements.txt

关于Python环境的搭建,可以参考我之前的博客:

https://www.cnblogs.com/bytesfly/p/python-environment.html

  • 下载模型

For example, you can use the following command to download my best run.

到了这步本该是模型训练(Model Training),我这里仅想体验一下,可以直接下载别人已经训练好的模型。

python scripts/download_checkpoint.py kingyiusuen/image-to-latex/1w1abmg1

此时shell显示如下:

(latex) ➜ python scripts/download_checkpoint.py kingyiusuen/image-to-latex/1w1abmg1
wandb: (1) Create a W&B account
wandb: (2) Use an existing W&B account
wandb: (3) Don't visualize my results
wandb: Enter your choice: 3
wandb: You chose 'Don't visualize my results'
Downloading model checkpoint...
Model checkpoint downloaded to image-to-latex/artifacts/model.pt.

下载需要稍微等等,模型有将近2个G的大小。

  • 启动服务

(1) 启动后端服务,执行命令make api

An API is created to make predictions using the trained model.

看下项目的Makefile文件,其实make api就是调用了下面的启动命令:

uvicorn api.app:app --host 0.0.0.0 --port 8000 --reload --reload-dir image-to-latex --reload-dir api

浏览器打开 http://localhost:8000/docs ,看到接口文档如下:

(2) 启动前端界面,执行命令make streamlit

同样,看下项目的Makefile文件,其实make streamlit调用了下面的启动命令:

streamlit run streamlit/app.py

浏览器打开 http://localhost:8501/ ,就是上传图片的界面:

至此,image-to-latex就成功启动了,下面就期待转换公式的效果了!

上手体验

下面我作为一个小白用户,体验一下image-to-latex的转换效果。

我从之前的博客中截图了10个公式,使用下来,感觉当前的效果并非太理想。注意,个别解析出来仅是缺少了右},这种也可以算解析出来了。如下:

测试来看,貌似对多行公式的解析不太好。当然了,有这样的免费工具来辅助我们把公式图片转成Latex代码已经让人挺惊喜了。相信以后随着更多的人参与算法的优化、模型的改善,解析的效果会更好。

写在后面

I found a pretty established tool called Mathpix Snip that converts handwritten formulas into LaTex code.

image-to-latex这个项目的README里也提到了mathpix这个更加成熟的工具。免费版每月能识别50次公式图片。详情见:

https://mathpix.com/

下载试了下,识别的效果确实不错。(注意:非广告,本人与mathpix无任何关系,仅仅试了下而已!!!)

百闻不如一试,动手尝试之后才有发言权。后面有时间会看看image-to-latex的代码实现,学习学习。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章