テキスト分類におけるトランスフォーマーエンコーダー

テキスト分類のトランスフォーマーエンコーダー

Transformerエンコーダを使用してテキストを分類するためのステップバイステップの説明

Mel Poole氏による写真

Transformerは、間違いなくディープラーニングの分野で最も重要なブレイクスルーの一つです。このモデルのエンコーダ・デコーダのアーキテクチャは、クロスドメインの応用において強力であることが証明されています。

もともと、Transformerは機械翻訳、テキスト生成、テキスト分類、質問応答などの言語モデリングタスクにのみ使用されていました。しかし最近では、Transformerは画像分類、物体検出、セマンティックセグメンテーションなどのコンピュータビジョンタスクにも使用されています。

Transformerの人気や、BERTやVision-Transformer、Swin-Transformer、GPTファミリーなどの多数のTransformerベースの洗練されたモデルの存在から、Transformerアーキテクチャの内部動作を理解することは重要です。

この記事では、Transformerのエンコーダ部分のみを解析します。これは主に分類目的に使用できます。具体的には、Transformerエンコーダを使用してテキストを分類します。それでは、早速この記事で使用するデータセットを見てみましょう。

データセットについて

使用するデータセットは、電子メールのデータセットです。このデータセットは、このリンクを介してKaggleからダウンロードできます。このデータセットはCC0: パブリックドメインのライセンスで提供されており、自由に使用および配布することができます。

import mathimport torchimport torch.nn as nnimport torchtextimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom torch.utils.data import DataLoaderfrom tqdm import tqdmfrom torchtext.data.utils import get_tokenizerfrom torchtext.vocab import build_vocab_from_iteratordevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")df = pd.read_csv('spam_ham.csv')df_train, df_test = train_test_split(df, test_size=0.2, random_state=42)print(df_train.head())# 出力'''     Category                                            Message1978     spam  Reply to win £100 weekly! Where will the 2006 ...3989      ham  Hello. Sort of out in town already. That . So ...3935      ham   How come guoyang go n tell her? Then u told her?4078…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「15Rockの共同創業者兼CEO、ガウタム・バクシ氏によるインタビューシリーズ」

「ガウタム・バクシは、気候リスク管理とアドバイザリーサービスのグローバルリーダーである15Rockの共同創設者兼CEOですガウ...

人工知能

アーティスの創設者兼CEO、ウィリアム・ウーによるインタビューシリーズ

ウィリアム・ウーは、Artisseの創設者兼CEOであり、ユーザーの好みに基づいて写真を精密に変更する技術を提供していますそれ...

データサイエンス

2023年にAmazonのデータサイエンティストになる方法は?

ほとんどのビジネスは現在、膨大な量のデータを生成し、編集し、管理しています。しかし、ほとんどのビジネスは、収集したデ...

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

データサイエンス

「3つの質問:ロボットの認識とマッピングの研磨」

MIT LIDSのLuca CarloneさんとJonathan Howさんは、将来のロボットが環境をどのように知覚し、相互作用するかについて議論し...

人工知能

「Zenの共同創設者兼CTO、イオン・アレクサンドル・セカラ氏によるインタビューシリーズ」

創業者兼CTOであるIon-Alexandru Secaraは、Zen(PostureHealth Inc.)の開発を牽引しており、画期的な姿勢矯正ソフトウェア...