パスライトのCTO兼共同創設者、トレイ・ドイグのインタビューシリーズ

「パスライトのCTO兼共同創設者、トレイ・ドイグの鮮やかで生き生きとしたインタビューシリーズ」

Trey DoigさんはPathlightの共同創業者兼CTOです。Treyは10年以上のテクノロジー業界での経験を持ち、IBM、Creative Commons、Yelpなどでエンジニアとして働いた経験があります。TreyはYelp Reservationsのリードエンジニアであり、SeatMeの機能をYelp.comに統合する責任も担当しました。Treyはまた、10倍の顧客成長をサポートするために同社がスケーリングするにあたり、SeatMeウェブアプリケーションの開発をリードしました。

Pathlightは顧客対応チームがリアルタイムで顧客の会話とチームのパフォーマンスを把握し、パフォーマンスを向上させるための洞察を提供します。Pathlightプラットフォームは数百万のデータポイントを自律的に分析し、組織の各レイヤーがビジネスの最前線で何が起こっているかを理解し、繰り返し成功するための最適なアクションを決定する力を与えます。

コンピュータサイエンスに最初に興味を持ったのはなぜですか？

私は思い出せる限りでコンピュータと遊び始めました。12歳の時にプログラミングを始め、SchemeやLispを独学で学び、その後は主にウェブ開発で私と友人のためにさまざまなものを作り始めました。

• Sudowriteのレビュー：AIが人間らしい小説を書けるのか？
• 「NeurIPS 2023のハイライトと貢献」
• コンテナの力を解放する：あらゆる開発ニーズに対応するトップ20のDockerコンテナを探索する

もっと後の時期、大学への入学申し込みをするとき、実はコンピュータに飽きてしまい、デザイン学校に入ることを目指しました。しかし、いくつかの学校からの不合格やウェイトリストに載る結果だったため、私はCSプログラムに入学することを決め、それ以降は二度と戻ることはありませんでした。デザイン学校への受け入れ拒否は、私の人生で最も報われる拒否のひとつとなりました！

IBM、Yelpなどで役職を務めた経験を通じて、特にYelpで取り組んだ興味深いプロジェクトとその経験から得た教訓について教えてください。

私は当社の前の企業であるSeatMeの買収を通じてYelpに参加し、最初の日からYelp.comのトップページに予約検索エンジンを統合するという責任を任されました。

わずか数か月で、私たちはYelpのスケールでその検索エンジンを成功裏に稼働させることができました。それは主に、ElasticsearchのためにYelpが内部で構築した堅牢なインフラストラクチャのおかげでした。また、素早く出荷することを得意とする私たちが自由に移動できる環境を提供してくれる優れたエンジニアリーダーシップのおかげでもありました。

会話型インテリジェンス企業であるPathlightのCTO兼共同創設者として、ゼロからLLM Opsインフラストラクチャを構築しています。LLMOpsインフラストラクチャを展開する際に必要なさまざまな要素について説明できますか？例えば、プロンプト管理レイヤー、メモリストリームレイヤー、モデル管理レイヤーなど、それぞれの管理方法はどのようになっていますか？

2022年の終わりに、私たちは大規模言語モデル（LLM）の開発と実験を本格的に行うことを決意し、わずか4か月後に私たちのGenAIネイティブの会話インテリジェンス製品の成功したローンチにつながりました。この革新的な製品は、テキスト、オーディオ、ビデオなど、さまざまなチャンネルからの顧客とのインタラクションを統合し、顧客の感情の分析と理解のための前例のない深さを実現します。

この複雑なプロセスを進行する中で、私たちはトランスクリプトを入念に書き起こし、洗練し、LLM処理に最適なデータに最適化することに取り組んでいます。このワークフローの重要な要素として、トランスクリプトから埋め込みの生成があります。このステップは、RAGベースのタグ付け、分類モデル、および複雑な要約の効果に基本的な役割を果たしています。

このベンチャーの真の特徴は、この分野の斬新さと未踏の領域にあることです。私たちは広範なコミュニティと同時にパイオニアとして活動し、ベストプラクティスを見つけ出しています。その一例として、プロンプトエンジニアリングがあります。私たちのアプリケーションが生成するプロンプトのモニタリング、デバッグ、品質管理を担当しています。注目すべきことに、これらの高度なニーズに特化した商用ツールの提供が増えてきており、コラボレーション機能や高度なログ出力およびインデックス機能などが含まれています。

ただし、私たちは堅牢なLLMOpsインフラストラクチャの基盤レイヤーを強化することに重点を置いています。微調整オーケストレーション、モデルのホスティング、頑強な推論APIの確立など、これらの下位レベルのコンポーネントは私たちのミッションにとって重要です。ここでリソースとエンジニアリングの力を集中することで、私たちの製品は迅速に市場に投入されるだけでなく、確固たる信頼性のある基盤の上に立っています。

市場が進化し、高度な複雑さに対応する商用ツールがさらに利用可能になるにつれて、私たちの戦略はこれらのソリューションをシームレスに統合することで、製品をさらに強化し、会話型インテリジェンスの再定義の旅を加速させることになります。

PathlightのCIの基盤はマルチLLMバックエンドによって支えられていますが、複数のLLMを使用し、異なるレート制限を扱う際のいくつかの課題は何ですか？

LLMsとGenAIは、非常に高速で進化しており、これらのテクノロジーに大いに頼っているビジネスアプリケーションは、最新かつ最高のトレーニング済みモデルとステップを合わせることができる能力を持つことが非常に重要です。これらは、プロプライエタリな管理サービスを利用するか、自分自身のインフラでFOSSモデルを展開するかにかかわらずです。特に、サービスの需要が増加し、レート制限によって必要なスループットが制限される場合には特に重要です。

パスライトは、LLMを構築および展開する企業にとって一般的な問題である幻覚にどのように取り組んでいますか？

幻覚とは、一般的に人々がそう呼びがちな意味での幻覚は、LLMを真剣に活用する上での巨大な課題です。同じプロンプトに対してどのような結果が期待されるのか、確実性や予測不可能性が確かに存在しています。この問題には、細かい調整（利用可能な最高品質のモデルを使用して調整データを生成する目的での最大使用）など、さまざまなアプローチ方法があります。

パスライトは、旅行・ホスピタリティ、金融、ゲーム、小売＆電子商取引、コンタクトセンターなど、さまざまな市場セグメントに対応するさまざまなソリューションを提供していますが、それぞれの市場の背後にある生成AIの違いについて話していただけますか？

幅広いセグメントに対応できる能力は、GenerativeAIの最もユニークな価値ある側面の1つです。インターネット全体でトレーニングされたモデルにアクセスできること、さまざまなドメインの広範な知識を備えていることは、現在取り組んでいる画期的な進展のユニークな質です。AIは、広まりという面でも自身を証明しますし、その現在の進展に鑑みると、すぐにそのようになることは間違いありません。

パスライトは、機械学習を使用してデータ分析を自動化し、隠れた洞察を見つける方法について話していただけますか？

もちろんです！私たちは長年にわたり、多くの機械学習プロジェクトを構築してきた経験があります。最新の機能「Insight Streams」の背後にある生成モデルは、私たちがMLを活用して、お客様について知らないことを明らかにする製品を直接作り上げた素晴らしい例です。この技術はAIエージェントコンセプトを利用しており、手動分析では不可能な洞察の段階的に進化するセットを生成することができます。時間の経過とともに、これらのストリームは自然に自己学習することができます。

データ分析やデータサイエンティスト、ビジネスアナリスト、営業担当者または顧客オペレーションなど、会社が顧客サポートデータを分析する責任を負う人々は常に重要な要求に追われています。通常、複雑なシステムやデータの多層を必要とするような深い分析です。

LLMsとAIの波において、どのような突破口が期待されるか、個人的なご意見をお聞かせください。

私の個人的な見解としては、LLMのトレーニングと調整の方法論が非常に速く進化し続け、より広範な領域での進展を遂げ、マルチモーダルが一般的になることに対して非常に楽観的です。FOSSはすでに多くの点でGPT4と同じくらい優れていると信じていますが、それらのモデルをホスティングするコストは多くの企業にとって依然として懸念事項でしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!