1.人脸识别之insightface
2.Meta的章源章版面恢复大模型：Nougat
3.如何把别人论文中的公式转化成Latex代码？
4.如何用人工智能帮你找论文？
5.经典DMP的问题及其解决办法
6.Nougat学习小结

人脸识别之insightface

       人脸识别技术中的InsightFace是一个重要的研究项目，其论文和源码分别位于arxiv.org和deepinsight/insightface。发文项目作者主要在三个方面进行了创新：首先，价值他们使用公开数据集去除噪声后进行训练，章源章以提高模型的发文准确性。其次，价值太原离晋中源码他们采用了高性能的章源章卷积神经网络，如ResNet和Inception-ResNet，发文这些网络在移动设备上平衡了速度与精度，价值尤其重视在资源有限的章源章设备上保证高精度。

       传统的发文softmax损失函数在处理大规模数据集时存在内存消耗问题。为了解决这一问题，价值作者引入了欧式边际损失函数，章源章如对比损失和T三元损失。发文然而，价值选择有效的正负样本匹配策略是个挑战。相比之下，作者提出了角度和余弦损失函数，如SphereFace和ArcFace，通过L2正则化和角度边距m的调整，减少了复杂性并提升了性能。

       具体来说，SphereFace采用L-softmax，而ArcFace在softmax的基础上引入角度边距，使得模型在正样本和负样本区分上更加精确。作者使用LResNetE-IR网络和MS1M数据集进行实验，结果显示，适当调整边际惩罚项可以在不同阶段带来性能提升，但过度惩罚可能引发训练问题。

       实验部分，InsightFace在MegaFace、LFW、CFP和AgeDB等多个验证集上表现出色，通过处理噪声数据和网络设置优化，腾讯引擎源码解析如使用conv3×3代替conv7×7，提高了识别精度。项目还对比了不同网络结构、损失函数和输入输出选择对性能的影响，最终选择LResNetE-IR作为关键模型，并展示了权重损失和m值对性能的优化。

       总之，InsightFace通过创新的损失函数和网络结构优化，有效提升了人脸识别的精度和鲁棒性，特别是在处理大规模和复杂数据集时，表现出了优秀的能力。

Meta的版面恢复大模型：Nougat

       Meta 最近发布了一项名为 "Nougat: Neural Optical Understanding for Academic Documents" 的项目，致力于提供更优质的文档阅读体验。这款模型专注于版面恢复，能识别扫描文档中的文字、数学公式和表格，并以Markdown格式输出。尽管它目前还处于实验室的半成品阶段，但英文识别精度高是其亮点。

       与传统的版面恢复流程不同，Nougat采用端到端的模型设计，直接从解析出内容，无需拆分识别。它能处理Markdown表示的文本，如数学公式和表格，但无法识别Figure部分，目前未被纳入处理范围。Nougat的模型架构基于Encoder-Decoder框架，Encoder使用Swin Transformer，Decoder部分采用mBART模型。

       Nougat发布了两个模型版本，0.1.0-base和0.1.0-small，参数量和文件大小各异。pda接入金蝶源码训练数据集构建是Nougat的一大挑战，作者收集了1,,篇arXiv文章的源代码，经过LaTeXML处理和HTML转换，最终形成对应Markdown格式的训练样本。

       然而，由于arXiv源码的格式问题，精确的分页对应关系难以获取，这影响了模型的训练效果。尽管如此，作者通过数据增强和抗重复策略提高了模型的性能，特别是在处理域外文档时，重复生成的问题有所减少。

       尽管Nougat在精度上优于Latex-OCR，但其推理速度较慢，对于大部分用户来说可能不够实用。相比之下，Pix2Text（P2T）作为开源的小型版面恢复工具，更适合资源有限的用户。P2T目前仅处理段落级内容，但计划在未来扩展功能，坚持小模型路线。

       总结来说，Nougat和Pix2Text各有特点，Nougat适合资源充足的用户，而Pix2Text则面向更广泛的用户群体。在大模型趋势下，Pix2Text将继续沿用小模型和开源的策略，提供免费服务。

如何把别人论文中的公式转化成Latex代码？

       在制作论文或者报告时，将别人论文中的公式转化成 LaTeX 代码，往往是一个繁琐的任务。

       市面上的工具如 mathsnip 并非免费，Image2LaTeX 等产品虽号称免费，spring构造选择源码但使用过程中存在诸多不便，例如需要密码、输入验证码，且存在数据安全隐忧。

       面对这一挑战，我突发奇想，决定寻找一种替代方案。以往的做法是手动重敲公式代码，但现在我想逆转思路。

       关键在于找到源代码，因此我转向了论文的 Arxiv 版本。在 Arxiv 文章页面右上方的“下载”选项中，选择“其他格式”，使用 rar 或 zip 格式下载源文件。解压文件后，直接在 LaTeX 代码中找到所需的公式。

       此方法的前提是论文拥有 Arxiv 版本。对理论物理等涉及复杂公式的论文而言，通过 LaTeX 源文件进行公式提取，无疑能大幅减少手动输入的工作量和时间消耗。

       本文旨在分享这一实用技巧，希望能为需要进行此操作的用户提供便利，帮助大家更高效地完成工作。

如何用人工智能帮你找论文？

       面对茫茫论文海洋，传统的关键词搜索是否让你感到无从下手？不妨试试人工智能驱动的论文检索引擎，它能根据你的兴趣和喜好，提供高效且精准的论文推荐。

       进入新领域时，阅读论文是不可或缺的路径。然而，读者常常面临两大挑战。首先，在信息匮乏的ea源码如何更改时代，寻找最新研究成果是许多人的难题。然而，随着科技发展，如arXiv这样的预印本平台成为获取新论文的渠道，尤其在物理、数学和计算机科学等领域，大部分新成果都会先在此发布。

       尽管预印本平台如arXiv提供了便利，但海量论文如何找到合适的一篇，却成为了新的挑战。人工智能技术的介入，如arXiv-sanity，为你提供了解决方案。这款工具以直观的方式呈现搜索结果，预览文章摘要，帮助你快速筛选，避免阅读大量无关内容的困扰。

       arXiv-sanity不仅基于关键词搜索，还结合了社区评论和社交媒体的数据，利用群体智慧推荐热门论文。你还可以通过文章内容相似性或智能推荐功能，发现更符合你研究兴趣的文章。比如，搜索“Keras”时，系统会列出相关研究，并通过自然语言处理识别其相关性。

       通过收藏和使用arXiv-sanity，你不仅可以发现新趋势，还能得到个性化的论文推荐。尽管平台的论文数量相对有限，但与arXiv合作，保证了最新人工智能领域的研究成果。此外，arXiv-sanity的源代码开放，允许你将其功能应用到其他领域或搭建自己的检索系统。

       然而，arXiv-sanity目前只支持arXiv上的全文可获取的论文，对于版权受限的领域，还存在局限。尽管如此，它的出现预示着一个未来可能，让我们看到了在海量信息中智能检索的曙光。

       最后，分享一下如何发现arXiv-sanity的秘诀，那就是它的创建者Andrej Karpathy，这位深度学习领域的专家。他的背景和成果，让你对这个工具充满信心。如果你有查找论文的经验或建议，欢迎在评论区分享，共同探讨更好的检索策略。

经典DMP的问题及其解决办法

       本文深入探讨经典DMP在实际应用中的问题，并提出改进策略。经典DMP，以其公式[公式]为核心，其中非线性项[公式] 由高斯基或冯米塞斯函数构成，但遇到起点和终点非常接近的轨迹拟合问题。以正弦曲线为例，尽管目标位置微小变动，DMP的复现轨迹却出现“镜像”和幅值巨大变化，影响多维度曲线的精确拟合。

       为解决这个问题，Stefan Schaal等人在年的论文中提出改进方法。他们将经典DMP公式调整为：

       [公式]

       此公式将DMP的“形状信息”和“幅值放缩”分开处理，形成PD控制器和轨迹形状拟合器，以及幅值放缩器。这样，即使起点和终点重合，示教轨迹的参数也能被精确学习和复现。

       然而，近期发现改进型DMP在某些情况下可能出现新问题，如起始点和终止点变化会导致轨迹形状差异。针对此，建议：如果示教曲线起点和终点差异较大，推荐使用非改进型DMP；如果相同，可以尝试改进型，但可能仍存在形状畸变，此时可以参考arxiv.org上的文章寻求更完善的解决方案。

       以上是关于经典DMP问题及其解决策略的讨论，源代码和参考文献均开源，以供进一步研究和实践。

Nougat学习小结

       项目地址： github.com/facebookrese...

       论文地址： Nougat: Neural Optical Understanding for Academic Documents

       背景

       近期，MetaAI推出了一项新的技术突破，提出了一种全新的端到端的OCR模型。该模型采用自回归方法，能够在给定后输出相应的Markdown标记。该模型不仅能够实现版面分析、文本检测、文本识别、公式识别等功能，而且整体架构采用了“编码器-解码器”（encoder-decoder）模式。以下，本文将从论文、源码、测试三个方面对Nougat进行深度学习与理解，共同探讨Nougat的实现过程。

       方法大意

       1.1 模型架构

       该模型采用了常规的“编码器-解码器”（encoder-decoder）架构，具体如下：

       编码器（Encoder）：

       解码器（Decoder）：

       从上述描述中可以看出，Nougat的encoder与decoder都采用了较大的transformer架构，整体pipeline的参数量达到了M。

       1.2 数据工程

       Nougat将OCR问题定义为：[公式]

       其核心关键在于如何以低成本的方式构造（，对应的markdown）pair。对于我而言，这是这篇文章最有价值、最值得借鉴学习的地方。

       1.2.1 数据源

       目前，并没有大规模的pdf与对应markdown标记pair的数据集。Nougat从arXiv、PMC (PubMed Central)、IDL(Industry Documents Library)三个来源构建数据集。其中，PMC与IDL的数据由于语义信息不充足，仅用于预训练阶段，以使模型具备基础的ocr能力。而arXiv数据有tex源码，能获取所有需要的语义信息，用于预训练和微调阶段。

       1.2.2 图文对构建pipeline

       1.2.2.1 思路介绍

       图文对构造的整体pipeline如上图所示。从arXiv拿到的Tex源码出发，获取全篇文章的markdown标记，与pdf每页的与文本进行对应。

       1.2.2.2 markdown 划分

       代码位置：nougat/nougat/dataset/split_md_to_pages/split_markdown

       1.2.2.2.1 预处理

       预处理1：去除PDF中的表格

       由于表格在PDF的位置和tex源码的位置可能有所差异，作者采取的办法是先用pdffigures2工具将PDF的和表格移除。当划分完markdown后再在markdown的末尾加入移除的信息。

       1.2.2.2.2 markdown page 划分

       叙述核心逻辑，详细细节见源码

       2 小结

       Nougat描绘了一个愿景，即以端到端的方式实现过去繁琐的数据加工pipeline。然而，从目前尝试来看，该方法并不适用于实际场景。单纯从架构来看，主要有以下几点缺陷：

       或许在未来，以上问题将不再是问题。

       Reference

       [1] Ali Furkan Biten, Rubén Tito, Lluis Gomez, Ernest Valveny, and Dimosthenis Karatzas. OCR-IDL: OCR Annotations for Industry Document Library Dataset, February .

       [2] Liu, Ze, et al. "Swin transformer: Hierarchical vision transformer using shifted windows." Proceedings of the IEEE/CVF international conference on computer vision. .

       [3] Liu, Yinhan, et al. "Multilingual denoising pre-training for neural machine translation." Transactions of the Association for Computational Linguistics 8 (): -.

如何用github找到需要的代码?

       找到所需GitHub代码的实用指南

       在整理学习CVPR论文时，寻找源码成为一项关键任务。结合多方信息和个人经验，以下是一些有效的资源和策略，帮助您高效地在GitHub上找到所需代码。

       有价值的网址

       1. paperswithcode

       paperswithcode整合了arXiv上最新机器学习研究论文，并关联了论文在GitHub上的代码。这是一个一站式查找资源。

       搜索建议

       2. 查找论文作者的个人主页

       通过Google搜索论文名称与作者姓名，访问作者的个人主页。在许多情况下，他们会在主页上提供论文链接与代码资源，有时甚至有您在其他网站上找不到的内容。

       调整搜索策略

       3. 更改搜索关键字

       使用“开发语言+论文关键字”的方式搜索，可以找到其他牛人在实现论文代码时的贡献，这些代码可能正是您需要的。

       直接联系作者

       4. 联系论文作者

       查阅论文或作者的个人主页，寻找****。通过直接联系作者，询问代码资源，往往能获得第一手的信息。

       总结经验，希望本文能为您的学术研究提供有价值的帮助。

自动补帧算法——RIFE的使用

       视频制作者追求高帧率以获得更流畅的画面。RIFE是一种开源自动补帧算法，由北大和Megvii Inc研究人员于年发布。论文标题为《RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation》，论文链接在arxiv.org上。

       在论文开篇，作者展示了RIFE与其他补帧算法的比较，结果显示，在不同帧率下，RIFE均取得了较好效果。RIFE大致结构包括输入两张相邻帧的到IFNet中，输出近似中间流，然后与第一帧一起进行后向变形，得到两张预测。最后，与第二帧一起经过融合过程，输出中间帧的预测。论文最后给出了各算法详细数据比较和可视化结果，RIFE在模型复杂度上也有明显优势。

       实践环节，通过运行官方开源版本，配置环境并下载模型，输入特定帧率倍数和视频路径，即可生成新视频。测试结果显示，RIFE补帧效果良好，但在某些情况下，如人物左侧衣襟瞬移到右侧，可能由于前后帧信息使用造成误判。此外，通过PR设置滑动变化效果，利用其自带的“划出”效果，可以实现滑动对比效果制作。

       RIFE源代码和模型文件备份可于百度网盘获取，链接在文章结尾。