top of page
検索
  • 執筆者の写真Eiji Kano

テキスト生成AIによる自治体職員のデジタルコンピテンシー推定 [論文]

[ 概  要 ]


本研究では、デジタルトランスフォーメーション(DX)の推進に取り組む自治体職員に求められるデジタルコンピテンシーを、DXの事例情報とテキスト生成AIを用いて抽出・特定する手法を提示する。テキスト生成AIを用いることで、直接的にはプロンプトに含まれない情報やコンテキストも踏まえてプロンプトの意味を抽象化し、より広い文脈や関連する知識に基づいて応答を形成することが可能となる。本研究では、この手法について、出力結果の信頼性と有用性を検証することにより、自治体DXを推進するにあたり自治体職員に求められるデジタルコンピテンシーを推定できる可能性があることを明らかにする。


This study presents a method to extract and identify the digital competencies required of local government employees working to promote digital transformation (DX) using DX case information and text generative AI. By using text generative AI, it is possible to abstract the meaning of the prompt by taking into account information and context that are not directly included in the prompt, and form a response based on a broader context and related knowledge. By verifying the reliability and usefulness of the output results of this method, this study clarifies the potential of estimating the digital competencies required of local government employees in promoting local government DX using text generative AI.


※本記事は、筆者が2024年9月の電気学会電気学会 電子・情報・システム部門大会に投稿した論文を転載したものです。


1. はじめに

 経済社会のあらゆる領域にデジタルトランスフォーメーション(以下「DX」)の取組が拡がる中、地方自治体の多くもDXを重要な課題と捉えるようになっている。こうした取組の内容や範囲は多岐にわたっており、行政事務の効率化や住民サービスの向上をはじめ、地域課題の解決、さらには地元産業の振興までも対象に含める団体もある。これに伴い、職員に期待されるDX推進に関するスキルや知識の水準もますます高まっている。

 こうした変化を背景に、近年、国内外の様々な機関がDXの推進に求められるコンピテンシーを定義し、人材育成に活用している。コンピテンシーは一般に、スキル、知識、及びそれらを成果に繋げるための行動特性やマインドセットを含む能力を指す。DXに関するコンピテンシーとしては、UNESCOやOECD、EUなどの国際機関が汎用的なフレームワークを公開しており、多くの機関がこれを活用している。こうした汎用的なフレームワークは人材育成のベースとなる概念を整理し、計画的に人材の能力向上を図る上で有用である。他方で、DXプロジェクトの現場では、組織や部門ごとに、実際のニーズに基づいた、柔軟で機動的なコンピテンシーの特定が必要となる。

 こうしたコンピテンシーの特定には一般的には経験者や専門家の知見が必要とされる。しかし、次々に新たな課題への対応と新たな技術の適用が期待されるDXにおいては、そうした助言をタイムリーに得ることは容易ではない。また、助言が得られたとしても、過去の事例が乏しいがゆえに属人的・主観的な判断に依らざるを得ず、バイアスの影響を免れない。また、専門家から的確な助言を得るためには、事前に必要とされるコンピテンシーの“あたり”をつけるとともに、助言内容の妥当性をある程度、評価できるようにする仕掛けが必要である。

 そこで本研究は、DX推進にあたり求められるコンピテンシーを、テキスト生成AIを活用して特定する方法を提示する。テキスト生成AIによる応答の基盤となる大規模言語モデル(以下「LLM」)は、直接的にはプロンプトに含まれない情報やコンテキストも踏まえてプロンプトの意味を抽象化し、より広い文脈や関連する知識に基づいて応答を形成する。この特性を利用すれば、行政の現場で必要とされるスキルを簡易に特定できる可能性がある。本研究では、こうした仮説を、出力結果の信頼性と有用性を検証することを通じて明らかにする。


2. コンピテンシー特定の課題とテキスト生成AI活用の可能性


〈2・1〉 自治体DX推進のためのコンピテンシー


 自治体には今、複雑化・多様化する行政課題に対し、次々に登場する新たなデジタル技術を活用しながら解決に導くことが期待されている。そこで求められるスキルや知識は、ITやデータ活用などの技術系スキルはもとより、プロジェクト管理やコミュニケーション能力などのマネジメント系スキルにも及ぶ、きわめて広範なものとなる。さらにこうした知識やスキルを実際の成果に結びつけるためには、職員一人一人が持つ好奇心やDXへの理解といった行動特性やマインドセットも重要となってくる。以下ではこれらを「デジタルコンピテンシー」と総称する。


〈2・2〉 汎用的なデジタルコンピテンシーのフレームワークとその適用上の課題


 様々な国際機関や政府が、デジタルコンピテンシーとしてどのような知識やスキル、行動特性が求められるのかをフレームワークとして体系的に整理し、公開している。例えば、次のようなものが挙げられる。

  • Working Group on Education: digital skills for life and work (UNESCO)(1)

  • DigComp: the EU Digital Competence Framework (EU) (2)

  • Essential digital skills framework (英国教育省)(3)

  • DX推進スキル標準 (日本IPA)(4)

 さらに、次のように行政機関向けのデジタルコンピテンシーのフレームワークも策定されている。

  • The OECD Framework for digital talent and skills in the public sector (OECD)(5)

  • Digital Capacity Building for Governments (UNESCO)(6)

  • Fremtidens Digitale Kompetencer (デンマーク)(7)

  • Teaching Public Service in the Digital Age(8)

 表1は国際機関が策定・公開した汎用的なデジタルコンピテンシーのフレームワークのうち、各国の行政機関から参照されることの多いものについて、その主な構成要素を挙げたものである。デジタルを謳いながら技術系のスキルはむしろ少数派であり、マネジメント系のスキルや行動特性などが重視されていることが見てとれる。


表1 代表的なデジタルコンピテンシーのフレームワーク

Table 1. Representative digital competency frameworks

政府向けデジタルキャパシティー・ビルディング(UNESCO)

公共部門におけるデジタル人材とスキルのためのOECDフレームワーク(OECD)

DigComp: EU デジタル能力フレームワーク (EU)

1. デジタルプランニングとデザイン

2. データ利用とガバナンス

3. デジタルマネジメントと実行

1. デジタル・バイ・デザイン

2. データ駆動型の公共部門

3. プラットフォームとしての政府

4. オープン・バイ・デフォルト

5. ユーザー主導

6. 積極性

1. 情報とデータリテラシー

2. コミュニケーションと協働

3. デジタルコンテンツの制作

4. 安全性

5. 問題解決

 これらは国家レベルで用いられる汎用性の高いフレームワークである。これらを実際に活用する際には、組織や事業単位で、それぞれのニーズに基づき必要とされるスキルを特定していくことが必要となる。


〈2・2〉 大規模言語モデル(LLM)活用の可能性


 一般にスキルには、特定目的の作業だけでなく、類似の目的の作業にも適用できる汎用性がある。それは個々の作業を抽象化し、それをサポートする知識や能力に関する情報を関連付けることで導出できる。例えば、「Excelによる相関分析」という作業について、こうした抽象化と情報の関連付けを行うことで、Excel操作、データの整理と前処理、統計基礎知識、クリティカルシンキング、レポーティングといったスキルの存在を推定できる。

 こうした処理は、LLMによる情報処理の過程との共通点が多い。LLMは、プロンプトとして提供された情報を解釈し、機械学習の過程でウェブ空間や大規模データセットから得た知識に基づいて応答を生成する。このときLLMは、直接的にはプロンプトに含まれていない情報やコンテキストも踏まえてプロンプトの意味を抽象化し、より広いコンテキストで、関連する知識に基づいて応答を形成している。したがってスキルの特定という情報処理は、LLMに向いた情報処理である可能性がある。

 実際にLLMを利用し、求人情報からスキルを抽出したり(9)(10)、これに近い領域として、職業のレコメンデーションを行ったりする研究は着手されている(11)(12)。ただし、まだその研究範囲は限定的であり、本研究がめざすDX推進のためのコンピテンシーの特定に関する研究も行われていない。

 そこで、本研究では、実際の自治体DXの事例から、テキスト生成AIを用いてそこで必要になるコンピテンシーを推定し、その結果が参照情報として実用に耐え得る信頼性と有用性を備えたものであるかを検証する。


3. 分析の手順

 本研究では、総務省の「自治体DX推進参考事例集」(13)に示されている様々な取組事例を対象に、これらを実践するために必要になると推定されるコンピテンシーをテキスト生成AIを用いて導出し、その結果を次の観点で評価する。


a. 信頼性の評価:ハルシネーションが出力結果に参考情報としての採否を左右するような影響を与えていないか

b. 有用性の評価:抽出されたコンピテンシー群は総務省が自治体に期待している行動をカバーしているか


〈3・1〉 検証環境と利用データ

 検証環境としては、LLMのGPT-4をベースにしたChatGPT Plusを用いる。ChatGPTは日本の自治体で最も普及しているテキスト生成AIサービスであり、また、その有償版であるChatGPT Plus は事例集が格納されたPDFファイルを直接読み込むことが可能だからである。データとしては、事例集で公開されている全65の事例を用いる。これらは、体制整備、人材確保・育成および内部DXのカテゴリで構成されており、自治体で取り組まれてきた著名な事例をカバーしているほか、具体的な実施内容や工夫点まで記載しており、取組の文脈まで踏まえてコンピテンシーを導出するのに適していると考えられるからである。


〈3・2〉 プロンプトの入力方法

 3.1.で取り上げた事例情報は、事例毎に1件ずつ別ファイルをプロンプトに添付し入力した。これは、ハルシネーションを評価するためには、プロンプトと出力結果の対応関係が明確である必要があるためである。

 プロンプトでは、応答の揺れを低減するため明確で具体的な文脈を示すとともに、ハルシネーション発生のリスクを低減するため引用元の情報の提示を指示した。また、コンピテンシーという言葉は定義の揺れが大きいので、その主要な構成要素であるスキルに着眼することとした。実際に用いたプロンプトは下記のとおりである。


プロンプト:添付のテキストでは自治体によるDXの取組の1つが解説されています。この取組を実施するために、公務員に必要とされるスキルを、それぞれの引用元の情報と共に示してください。


 テキスト生成AIの出力結果は、同じプロンプトであっても毎回揺れ動く。そこで、偶然による出力結果の偏りを低減するため、すべての事例について、同じプロンプトを2回ずつ入力して結果を出力した。各事例で強調表示される要点部分を抽出・集計したところ、323件のスキルが確認された。なお、今回の検証ではpdfファイルの読み込みエラーが一定割合で発生しており、投入事例のうち16事例は出力できなかったため対象から除外している。


4. 分析及び評価の結果

 本章では、テキスト生成AIの出力結果について、信頼性と有用性の2つの観点で分析・評価する。


〈4・1〉 信頼性の評価

 生成AIによって出力される結果は、オリジナルの入力情報に対し、抽象化や関連付けといった処理が加わるため、プロンプトと出力結果の対応関係の妥当性を機械的に判別することは難しい。そこで、出力されたスキルの説明が、以下の項目に該当しないかを目視でチェックし、一部でも該当する場合にハルシネーションの可能性があるものとみなした。

  • プロンプトとの関係性を見い出せない部分がある

  • プロンプトをミスリードしている

  • 説明が不正確である

 その結果、該当する項目が3件確認された。したがって、ハルシネーションの影響を受けた可能性がある項目の割合は式(1)のとおりとなる。


該当項目の割合 = 影響を受けたプロンプト数/プロンプト数 = 3 / {(65-16)×2} = 3%   (1)


 ハルシネーションにも全く事実無根のものから、ソースの取り違え、プロンプトの解釈ミス、説明の不正確さまで様々なレベルがある。今回、発生した3件のハルシネーションはいずれも、説明の不正確さまたはプロンプトのミスリードによる軽度の錯誤であり、事実無根の情報を挙げるといった、重大なハルシネーションは1件も確認できなかった。これはプロンプト自体に十分な情報が提供されており、これを抽象化することがタスクの中心であったため、ハルシネーションが起きにくかったためと考えられる。

 DXに求められるコンピテンシーの特定において、本研究が果たす意義は、直接、最終判断を導き出すことではなく、必要となるスキルの検討にあたっての気づきを得ることである。また、ハルシネーションが混入した場合でも、該当事例の本文と突き合わせることで容易に検出できる。したがって、出力結果の3%に軽度な錯誤が含まれる程度であれば、十分実用に耐え得るものと評価し得る。


〈4・2〉 有用性の評価

 出力された結果について同一コンピテンシーとして括れるものを、極力MECE(モレなく、ダブりなく)となるよう整理・集約化した。その過程で、「若手職員向けスキル」のように、特定のコンピテンシーとして括りにくいワードを除外した。その結果、59のコンピテンシーが抽出された。これらを、コンピテンシーを適用する取組の共通性に基づいてグルーピングした。その結果、表2に示す(a)~(c)の3つのカテゴリ、(1)~(13)の13のグループに区分された。


表 2 整理・集約化されたコンピテンシー

Table 2. Organized and consolidated competencies

カテゴリ

グループ

コンピテンシー

a.技術系スキル

(1)デジタル技術活用

デジタル技術・ツール活用/AI/AI-OCR/RPA/メタバース/アバター/ドローン/Web3.0/GIS


(2)データ活用

データ・情報収集/データ分析/データ結合・連携/情報共有/データ活用/データマネジメント


(3)ICT改革

IT企画・開発/自動化/システム連携/効率化・費用削減/ローコード・ノーコード開発


(4)ICT運用

データベース/システム運用/マイナンバーカード/セキュリティ・プライバシー


(5)ITリテラシー

IT/デジタルリテラシー

b.マネジメント系スキル

(6)課題解決 

課題・ニーズ把握/課題・問題解決/企画力・発想力/予算化/コミュニケーション/説明力・提案力/協働・連携


(7)デザイン思考

デザイン思考/サービス向上・システム改善


(8)業務改革

業務改革・BPR


(9)デジタル政策推進

災害対応/デジタル格差対策/スマートシティ


(10)プロジェクト推進

プロジェクトマネジメント/コスト管理/リスク管理/チームワーク/アジャイル開発


(11)業務スキル

業務知識/ユーザー対応/台帳整備/経営戦略/マネジメント/マーケティング

c.行動特性・マインドセット

(12)意識変革

DX推進/イノベーション/チェンジマネジメント/意識変革・醸成/主体性・意欲

(13)人材開発

人材確保・育成/継続学習


 総務省は前述の分析で用いた事例集とは別途、「自治体 DX 全体手順書」(14)において、自治体に期待する行動を体系的に整理している。そこで、表2のスキルがこれらの行動をどの程度カバーしているかを確認した。

 その結果、図1に示すように、表2のコンピテンシーは、総務省が定めた「自治体DX全体手順書」で示された期待行動のほぼすべてに対応するだけでなく、「自治体DX全体手順書」では明示されていないが一般に自治体DXに必要とされる期待行動に繋がるコンピテンシーも幅広くカバーしていることが確認できた。


図 1 抽出されたコンピテンシーのカバー範囲

Fig. 1. Coverage of extracted competencies


〈4・3〉 自治体DXのスキル体系の導出

 4.1.及び4.2.の評価の結果、テキスト生成AIによって自治体DXの推進に関するコンピテンシー特定のための有用な情報を導出できることが確認できた。

 自治体はこうして導出したコンピテンシーを参照することで、少なくとも総務省の事例集がカバーするDXの取組については、その実施に必要となる項目を参照し、参考とすることが可能となる。


5. おわりに

 本研究では、DXの推進事業の事例から、その取組に必要となるコンピテンシーを推定する手法を提示し、その有効性について、信頼性と有用性の2つの観点から検証を行った。その結果、実用に耐え得る程度の有効性が得られることが確認できた。この手法を用いれば、DXを推進する組織単位、部門単位、プロジェクト単位など任意の対象や目的ごとに、必要となるスキルを簡易に導出することができる。

 この手法を実施するためには、プロンプトとして入力するための事例情報が必要となる。ただし、この手法は機械学習を行うわけではないので、大量のデータは必要としない。今回の研究でも各事例の情報量は数百文字から数千文字程度であった。

 本研究で示されたコンピテンシーの導出手法は、自治体DXに限らず、他の様々な領域でも適用可能であると考えられる。また、GPT-4以外のLLMでもこうした成果が得られるかを研究する価値がある。今後、生成AIを用いて新たな知識を構築する手法がさらに開発され、DX推進に限らず、経済社会の様々な領域で生産性向上に役立てられることが期待される。


文   献

 

(1)    Department for Education, UK. (2019 last updated) “Essential digital skills framework,”

(2)    David Atchoarena et al. (2017) “Working Group on Education: digital skills for life and work,” UNESDOC Digital Library

(3)    VUORIKARI Riina et al. (2022) “DigComp 2.2: The Digital Competence Framework for Citizens - With new examples of knowledge, skills and attitudes,”European Union

(4)    Information-technology Promotion Agency, Japan. (2023) “DX推進スキル標準,”

(5)    Barbara Ubaldi et al. (2021) “The OECD Framework for digital talent and skills in the public sector,”OECD Working Papers on Public Governance No. 45, OECD

(6)    UNESCO. “Digital Capacity Building for Governments,”

(7)    Kommunernes Landsforening, “Fremtidens digitale kompetencer,” https://kl.digitalekompetencer.dk/survey-79/da/(2024年4月1日確認)

(8)    Teaching Public Service in the Digital Age. https://www.teachingpublicservice.digital/(2024年4月1日確認)

(9)    Mike Zhang et al. (2022) “Skill Extraction from Job Postings using Weak Supervision,”arXiv:2209.08071v1 [cs.CL]

(10)        Jens-Joris Decorte et al. (2023) “Extreme Multi-Label Skill Extraction Training using Large Language Models,” arXiv:2307.10778 [cs.CL]

(11)        Yingpeng Du et al. (2024) “Enhancing Job Recommendation through LLM-Based Generative Adversarial Networks,”Proceedings of the AAAI Conference on Artificial Intelligence,  Vol. 38 No. 8: AAAI-24 Technical Tracks 8

(12)        Nan Li, Bo Kang and Tijl De Bie. (2023) “LLM4Jobs: Unsupervised occupation extraction and standardization leveraging Large Language Models,” arXiv:2309.09708 [cs.CL]

(13)        総務省. (2024) “自治体DX推進参考事例集,” https://www.soumu.go.jp/denshijiti/index_00001.html(2024年4月1日確認)

(14)        総務省. (2023) “自治体DX全体手順書【第2.2版】,” https://www.soumu.go.jp/denshijiti/index_00001.html(2024年4月1日確認)

閲覧数:18回0件のコメント

Comments


記事: Blog2 Post
bottom of page