AIアップロード用文書整理
PDF・TXT・Markdownを出典とページ付きMarkdownへ分割し、選択したエンコーディングのトークン上限内でZIP保存します。
文書の準備
ファイルは端末内で処理します。名前や内容を分析へ送信せず、再読み込みで消去します。
結果プレビュー
結果はまだありません。
Markdown ZIPを保存使い方と例
minutes.txtを選び、cl100k_baseと2,000トークンを指定すると、出典見出しを含め各ファイルを2,000トークン以内に分割します。PDFはページ番号を保持し、manifest.jsonに各ファイルのトークン数を記録します。要約や内容の書き換えは行いません。公開サンプルは個人ファイルなしで流れを確認する別ボタンです。
よくある質問
画像や表の構造も残りますか?
いいえ。PDFの文字層のみを抽出します。段組みや表の順序が変わる場合があり、画像・スキャン・添付は含みません。文字のないページは除外されるため原文と比較してください。
すべてのAIでトークン数は同じですか?
いいえ。選択したo200k_baseまたはcl100k_baseで保存するMarkdown全体を計算します。他のエンコーディング・システム指示・メッセージ包装・出力予約分は含みません。利用サービスの上限に余裕を持たせてください。
AIへ自動送信されますか?
いいえ。処理とZIP作成はブラウザー内で行います。ZIPには入力ファイル名と抽出内容が含まれるため、外部へ送る前に個人情報を確認してください。上限は10ファイル・25MiB・合計200セクション・20万文字、PDFごとに100ページです。
計算基準と参考資料
- OpenAI — tiktoken
BPEエンコーディング別の計算方式の参考資料。本ツールは選択したjs-tiktokenエンコーディングを使います。