tokenizers — 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
トークナイザーの高速化を目的としているライブラリ。
トークナイザーの高速化
MLINFO COLLECTION
新着記事
日次更新の新着・公開記事を新しい順に掲載しています。
記事一覧
4 / 125compromise — modest natural-language processing
この研究では、自然言語処理の負担を減らすモジュラリティを目指しています。モジュラリティとは、システムを小さくて独立した部分に分割して、それぞれを簡素化することです。この研究では、文脈に応じてモジュラリティを変更できるメカニズムを開発しているようです。
自然言語処理の簡素化
label-studio — Label Studio is a multi-type data labeling and annotation tool with standardized output format
データラベル化と注釈化を行うためのツールです。
データラベル化ツール
aim — Aim 💫 — An easy-to-use & supercharged open-source experiment tracker.
skypilotは、AIワークロードを任意のAIインフラストラクチャで実行、管理、スケールさせることができるプラットフォームです。
AIワークフローの管理
trafilatura — Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML
trafilaturaはPythonとコマンドラインツールで、Webからテキストとメタデータを取得して、CSV、JSON、HTML、MD、TXT、XML形式で出力を提供します。
Web上から情報を取得してテキスト抽出する
pytorch-lightning — Pretrain, finetune ANY AI model of ANY size on 1 or 10,000+ GPUs with zero code changes.
AIモデルを高速にトレーニングするためのライブラリ。1台から10000台のGPUで利用可能。
AIモデルトレーニング
segmentation_models.pytorch — Semantic segmentation models with 500+ pretrained convolutional and transformer-based backbones.
セマンティックシーケンス分割モデルのライブラリです。
セマンティックシーケンス分割モデル
pytorch-image-models — The largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 & V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more
PyTorchで使用できる画像エンコーダとバックボーンの最大のコレクションです。トレーニング、評価、推論など様々なスクリプトや事前の重み付きデータが含まれます。
PyTorchで使用できる画像エンコーダとバックボーン
google-research — Google Research
google-researchはGoogle Researchで、研究者がアクセスすることができる機械学習リソースの一つである。
Google研究
cvat — CVAT is a leading data annotation platform for image, video, audio, and 3D datasets. It offers open-source, cloud, and enterprise products, as well as labeling services, with AI-assisted labeling, quality assurance, team collaboration, analytics, and developer APIs.
CVATは、機械学習用の業界標準のデータエンジンです。さまざまなスケールのチームが使用し、さまざまなスケールのデータに対応しています。
データのラベル付けと管理
laya — Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per reque
deep-learning
FreeVideo — Make videos on the computer you already own. FreeVideo runs MiniMax H3 in as little as 8 GB of VRAM and 16 GB of RAM, and adapts its acceleration path to your hardware.
Make videos on the computer you already own. FreeVideo runs MiniMax H3 in as little as 8 GB of VRAM and 16 GB of RAM, and adapts its acceleration path to your hardware.
generative-ai
reef — Infrastructure for continually self‑improving agents
Infrastructure for continually self‑improving agents
nlp
dagster — An orchestration platform for the development, production, and observation of data assets.
dagsterは、データアセットの開発、生産、観察に使用されるオーケストレーションプラットフォームです。
データアセットのオーケストレーションを提供する
verl-omni — Multimodal RL training framework for diffusion & omni models
CVV または CWE への分類を実現し、バグ修正のために重要な手順となるCVEへの CWE 分類を自動化する。
CVVの分類と CWE 分類
netron — Visualizer for neural network, deep learning and machine learning models
神経ネットワークの可視化に利用できるツール。深層学習・機械学習モデルも可視化可能。
神経ネットワーク可視化
MOVA — A foundation model that generates synchronized video and audio in a single model
統計チャートの生成は、タブラーのデータから生成することが難しい。新しい作成フローでは、データのスクリーン、プロット提案、コード生成、レンダリング、検証による改良が含まれる。
可視化された統計チャートの生成
TextBlob — Simple, Pythonic, text processing--Sentiment analysis, part-of-speech tagging, noun phrase extraction, translation, and more.
テキスト分析、センチメント分析や単語分割などを行えるライブラリ。
テキスト分析
carla — Open-source simulator for autonomous driving research.
CARLAは、オープンソースのシミュレータで、主に自動運転研究のために使われます。このシミュレータを使うことで、車両などのロボットをシミュレートし、様々なシナリオを実行できます。
自動運転研究用のオープンソースシミュレータ
stanza — Stanford NLP Python library for tokenization, sentence segmentation, NER, and parsing of many human languages
stanzaは、さまざまな言語を処理するための言語処理用ライブラリです。
言語処理用ライブラリを提供する
great_expectations — Always know what to expect from your data.
データの期待値を把握するためのフレームワークです。
データの期待値を把握する
ml-agents — The Unity Machine Learning Agents Toolkit (ML-Agents) is an open-source project that enables games and simulations to serve as environments for training intelligent agents using deep reinforcement learning and imitation learning.
Unityを使用してマシンラーニングエージェントを訓練して訓練できるツールです。
Unityでマシンラーニングエージェント
onnx — Open standard for machine learning interoperability
このリポジトリでは、中文LLaMA & Alpaca LLMsを提供しています。
中文LLaMA & Alpaca LLMs
langextract — A Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.
LLMを使用して、自然言語処理における情報抽出を行うためのPythonライブラリです。
自然言語処理情報抽出